Mistral Large 4 开放权重了。值得讲的地方集中在注意力上。 总参数 1.05T，每个 token 激活 49.8B，72 层，宽度 6144。… · @Zen_with_AI · TwKit

@Zen_with_AI

Mistral Large 4 开放权重了。值得讲的地方集中在注意力上。 总参数 1.05T，每个 token 激活 49.8B，72 层，宽度 6144。 主线是这样一条链： 全稀疏注意力 -> 共享（KV 和 indexer）-> 两个学出来的长上下文旋钮（SSMax、LeRoPE）-> 比上一代更深的形状 接下来一步一步看。 全稀疏注意力。和 DeepSeek V3.2、GLM 5.X 一样，每一层都有一个小的 indexer。它给所有缓存的 token 打分（32 个头，每头 128 维，ReLU，FP8），只留分数最高的 2048 个 key，后面的 MLA 注意力只在这 2048 个上计算。所以上下文再长，注意力的开销也停在 2048 个 key。 共享。共享发生在两处。第一是 KV：每 4 层有一层 NoPE（完全不做位置旋转），它每个 token 的缓存是 512，RoPE 层是 576。35 层之后的 NoPE 层（39 到 71）直接读第 35 层的 latent，各自保留自己的上投影，KV cache 少了 11%。第二是 indexer：从第 17 层起，有 28 层直接沿用上一层选出的 top-2048，indexer 的计算量少了 39%。RoPE 层之间互相共享，不会和 NoPE 层共享。 indexer 本身。结构基本沿用 MLA/DSA，只有一处小改动：不对 q 做低秩下投影，而是在上面加一个 norm（LayerNorm 加 bias）。有意思的是它的权重。原推作者把 GLM-5、DeepSeek V3.2 和 Mistral Large 4 的层与层之间做了对比，有两个发现。 第一，不同层的 indexer 差别很大。GLM 和 DeepSeek 能看到分块结构（作者说这让他想到 jspace，之后会再研究），Mistral 只在后面开始共享 KV 的层里隐约出现。 第二，indexer 和完整注意力读到的东西差别也大。图里 indexer 图和 attention 图的相关系数 r，GLM-5 是 0.92，DeepSeek V3.2 是 0.95，Mistral Large 4 只有 0.66。另一个指标 indexer inside its own attention，GLM-5 是 76%，DeepSeek 是 77%，Mistral 是 43%。图注给的解释是：ML4 一个 indexer 最多服务 3 层，35 层之后的 NoPE 层又读第 35 层的缓存，所以两张图对不上。 SSMax。这是长上下文的第一个旋钮。q 乘以 (s·ln(pos+1) + b)，s 和 b 每个头自己学，上下文越长，注意力越尖。图里比较了第 1M 个 token 和第 1 个 token 的 q 缩放倍数：Beam 约 ×1.87（只在 NoPE 层），Llama 4 的固定规则是 ×1.49，Muse 和 GLM 没用，相当于 ×1。Mistral 每层 64 个头各学各的，多数层在 ×1 以上，第 0 层是例外，倍数低于 1。作者还说 Muse 和国内的模型一般不用这个，这是他的印象，小路没有核实。 LeRoPE。这是第二个旋钮，在 YaRN 的基础上，给每一对频率再乘一个可学习的 e^α。32 对频率里，前面几对保持原样，中间一段被放慢 ×1.1 到 ×13，最后一段 YaRN 放慢了 ×2048。第 16、17 对被学成 ×2.5 和 ×1.9，在 1M token 的范围内重新转到一圈以上。图上的读法很直观：转够一圈的频率负责编码位置，转不满一圈的几乎不动，只看内容。 整体形状。72 层 × 6144，上一代 Mistral Large 3 是 61 层 × 7168，所以更深，宽度反而小了一档。词表从 131k 扩到 204,800（Tekken v15）。MoE 是 128 个专家，top-4 加 1 个 shared，专家隐层 6144（之前 4096）。另外 logits 加了 30·tanh(x/30) 的上限，LM head 旁边多了一个 3 token 的 DSpark drafter。KV cache 大小方面，原推的判断是没有额外压缩。 简单总结一下就是：Mistral Large 4 沿着稀疏注意力的路线往前走，省开销的办法放在共享上（KV 共享少 11% 的 cache，indexer 复用少 39% 的 FLOPs），长上下文的处理交给 SSMax 和 LeRoPE 这两个学出来的参数。 小路最感兴趣的是第 3 点。indexer 和注意力读得越不一样，它越像一个独立学出来的检索器，而不只是注意力的廉价副本。这只是小路的猜想，原因还没有人验证。 http://huggingface.co/mistralai/Mistral-Large-4-1T-A52B

曝光 754 · 评论 2 · 点赞 4 · 书签 2