一个小模型到底是怎么一步步搭起来的？ Raschka 那本书的配套代码仓就干这个——GitHub 上星标已经破 10 万。 主线代码普通笔记本就能跑完，显卡… · @wangxiaoxin88 · TwKit

@wangxiaoxin88

一个小模型到底是怎么一步步搭起来的？ Raschka 那本书的配套代码仓就干这个——GitHub 上星标已经破 10 万。 主线代码普通笔记本就能跑完，显卡只负责加速；附录塞了 PyTorch 入门，LoRA 之类的丢在补充材料。 每章都有能跑的 notebook：从文本处理和注意力机制起步，接着手写 GPT 结构，然后预训练，再做分类微调和指令微调。 它不教你直接炼出个 ChatGPT，而是让你把搭建过程看明白。 https://github.com/rasbt/LLMs-from-scratch

曝光 52 · 评论 1 · 点赞 0 · 书签 0