想真搞懂 LLM 训练，别只调 API，拿纯 PyTorch 把 forward/backward 整条链路撸一遍，很多“黑盒”瞬间就通了。 这个 repo… · @GYLQ520 · TwKit

@GYLQ520

想真搞懂 LLM 训练，别只调 API，拿纯 PyTorch 把 forward/backward 整条链路撸一遍，很多“黑盒”瞬间就通了。 这个 repo 叫 Train LLM From Scratch：不用 transformers / trl / peft，tokenizer 直接 tiktoken。Transformer 从 token、attention 拆起，到多头、block、pretrain，再接 SFT、reward model，最后一路写到 DPO

曝光 23 · 评论 0 · 点赞 0 · 书签 0