推文

@antiAIvo · 2026-10-17 21:31

梳理了我从零学大模型，目前的进度和大纲 每一期只学一个概念，用同一个小例子手算，再写成代码 已完成： 推理篇 14 期，从零手写 GPT-2 训练篇 4 期，讲到 Adam 推理优化篇 2 期，KV Cache 架构进阶篇 3 期，Switch Transformer 零件替换篇 1 期，RMSNorm 正在写：推理优化篇第 3 期 下一期：SwiGLU 再往后： RoPE、GQA，再用一期 LLaMA 总览把零件串起来 最后是 MLA 等前沿架构 学习路线会随进度调整 一个阶段设定一个总的学习路线大纲 然后按照这个一期期的学习 因为我不需要面试，学这个应该也无法变现 所以我也没有deadline 基本上，看心情学习

曝光 1544 · 评论 10 · 点赞 38 · 书签 26 · 曝光/时 1377.7485519540512