如果你只收藏一份 AI 学习路线，我建议就是这份。 Karpathy 几乎把「如何从零真正搞懂大模型」这件事，拆成了 7 个开源项目。 而且不是教你调 AP… · @aiZttt__ · TwKit

@aiZttt__

如果你只收藏一份 AI 学习路线，我建议就是这份。 Karpathy 几乎把「如何从零真正搞懂大模型」这件事，拆成了 7 个开源项目。 而且不是教你调 API。 是从最底层的反向传播开始，一路手搓神经网络、Tokenizer、GPT、CUDA、ChatGPT，最后甚至让 AI 自己做 AI Research。 建议按这个顺序刷： 1. micrograd — 搞懂神经网络最底层 用极少量代码实现 Autograd 和反向传播，从零理解梯度到底是怎么计算的。 https://github.com/karpathy/micrograd 2. Neural Networks: Zero to Hero — 从零开始学神经网络 Karpathy 的完整课程 + Notebook。 从反向传播、MLP，一路写到语言模型和 GPT。 https://github.com/karpathy/nn-zero-to-hero 3. minbpe — 搞懂 Tokenizer 从零实现 BPE Tokenizer，理解一句话到底是怎么被拆成 Token，再送进大模型的。 https://github.com/karpathy/minbpe 4. nanoGPT — 自己训练一个 GPT 真正开始进入 Transformer / GPT。 可以直接看到 GPT 的模型结构、训练循环、数据处理，以及如何从零训练和微调 GPT。 https://github.com/karpathy/nanoGPT 5. llm.c — 深入 LLM 训练底层 不用 PyTorch，直接用 C/CUDA 训练 GPT。 如果你想知道 GPU 到底是怎么把 LLM 跑起来的，这个项目非常值得啃。 https://github.com/karpathy/llm.c 6. nanochat — 从 GPT 到真正的 ChatGPT 把 Tokenization、Pretraining、Finetuning、Evaluation、Inference、Web UI 整条链路全部跑通。 真正从零做出一个可以聊天的 LLM。 https://github.com/karpathy/nanochat 7. autoresearch — 最后让 AI 自己研究 AI Agent 自己修改训练代码 → 跑实验 → 看结果 → 保留/放弃修改 → 继续下一轮实验。 https://github.com/karpathy/autoresearch 整条路线就是： 反向传播 → 神经网络 → Tokenizer → GPT → CUDA → ChatGPT → AI 自动研究 从「大模型对我来说就是魔法」，一路学到「让 AI 自己研究怎么把大模型训练得更好」。 最夸张的是，这一整套学习路线，Karpathy 几乎全免费开源了。

曝光 361 · 评论 4 · 点赞 8 · 书签 2