之前的学习笔记，整理成了三个系列： 1. 从零手写大模型（推理篇、训练篇） 2. Switch Transformer 论文精读 3. 从GPT-2到LLa… · @antiAIvo · TwKit

@antiAIvo

之前的学习笔记，整理成了三个系列： 1. 从零手写大模型（推理篇、训练篇） 2. Switch Transformer 论文精读 3. 从GPT-2到LLaMA 从分词、注意力开始手写一个 GPT-2 再从零训练它、给推理加速 然后读懂 MoE 最后把 GPT-2 的零件一个个换成 LLaMA 的 全部笔记，都放在我的网站上了：https://nano-ai.tech 按照这个路线 接来下开始第四个系列：「从LLaMA到DeepSeek」 计划 7 期： 1. MLA 上下两期 3. DeepSeekMoE 4. 无辅助损失负载均衡 5. MTP 6. V3 完整组装 7. 最后一期, 聊 Kimi K2 在同一副骨架上改了什么

曝光 299 · 评论 1 · 点赞 6 · 书签 1