想真正看清LLM底层怎么跑，而不是被transformers这些库把细节包起来，可以看这个Train LLM From Scratch。 它用纯PyTorc… · @0xGky · TwKit

@0xGky

想真正看清LLM底层怎么跑，而不是被transformers这些库把细节包起来，可以看这个Train LLM From Scratch。 它用纯PyTorch从头搭Transformer，不碰trl、peft、transformers。把数据转token、模型结构（注意力和多头这些）、预训练，再到SFT、Reward Model以及DPO、PPO、GRPO对齐，一步步拆开，每个模块都有说明和预期输出。 单卡就能跑百万到十亿参数的实验，文档里还标了不同硬件的参考。适合对着代码把整条训练链路走一遍。 🔗https://github.com/FareedKhan-dev/train-llm-from-scratch

曝光 5 · 评论 0 · 点赞 0 · 书签 0