LLM 架构图鉴--10 个模型 Sebastian Raschka 的 LLM Architecture Gallery 更新了十月版，一次收录 10 个… · @Zen_with_AI · TwKit

@Zen_with_AI

LLM 架构图鉴--10 个模型 Sebastian Raschka 的 LLM Architecture Gallery 更新了十月版，一次收录 10 个架构，从 Aleph Alpha 的 Kolibri-1 到 Mistral Large 4。每个模型都画出了同样的东西：主干堆叠、注意力机制、MoE 结构、参数规模和发布日期，方便横向对比。 第一条主线是 MoE 成了默认选项。10 个模型里 8 个是 MoE，激活比例大多只有 5% 左右：560B 的 Ling 实际只激活 25B，万亿参数的 Mistral Large 4 只激活 52B。堆参数不再等于堆算力，稀疏激活才是常态。 第二条主线是注意力机制百花齐放。MLA、Kimi Delta 注意力、稀疏注意力、Mamba-2 混合、短卷积，能叫上名的花样都在这 10 个模型里出现了。大家不再只拼规模，而是在注意力本身上找效率。 第三条主线是上下文长度全面迈向 1M。Ling、Muse、Reflection、MiniMax、Mistral 都支持 1M token，Kolibri 也能外推到 1M。长上下文从卖点变成了标配。 小模型也没缺席：Liquid AI 的 LFM3 只有 1.73B，NVIDIA 的 Dory1.0 只有 4B，靠短卷积和权重共享在自己的量级上做文章

曝光 442 · 评论 3 · 点赞 3 · 书签 6