想真正吃透 LLM，光会调 transformers，恐怕还不够。 Train LLM From Scratch 拿纯 PyTorch 从零实现 Trans… · @tantanyuli · TwKit

@tantanyuli

想真正吃透 LLM，光会调 transformers，恐怕还不够。 Train LLM From Scratch 拿纯 PyTorch 从零实现 Transformer，transformers、trl、peft 一概不依赖，整个流程一层层拆开讲。 ① Token 怎么处理，模型怎么搭 ② 从 MLP、注意力、多头注意力到完整 Transformer ③ 预训练和 SFT 怎么做 ④ Reward Model、DPO、PPO、GRPO 怎么进行对齐 ⑤ 每个模块都有代码说明和预期输出 不同参数规模的硬件参考也整理好了，单 GPU 就能跑部分百万到十亿参数级实验。 不想只停在“会调 API”，想从底层把 LLM 训练链路走一遍，这个仓库拿来研究挺合适。https://github.com/FareedKhan-dev/train-llm-from-scratch

曝光 89 · 评论 1 · 点赞 1 · 书签 0