从LLaMA到DeepSeek｜MLA 手算 03：注意力分数 上一篇说到： 同一份 c，每个头用自己的矩阵，算出各不相同的 K 这有什么用呢？ 这一篇用分… · @antiAIvo · TwKit

@antiAIvo

从LLaMA到DeepSeek｜MLA 手算 03：注意力分数 上一篇说到： 同一份 c，每个头用自己的矩阵，算出各不相同的 K 这有什么用呢？ 这一篇用分数来看 Q 照常计算，不进缓存，也不压缩 每个头取出自己的两列，和自己的 K 做点积 得到 3×3 的分数矩阵： 行是谁在看，列是被看的词 右上角被因果遮罩挡住 每个词只能看到自己和前面的词 重点看最后一行「鱼」 Query 一样，关注的词却不同 差别全部来自各自的 K 如果换成 MQA，所有头共用同一份 K 这两行分数会完全一样 这就是 MLA 想保住的东西： 缓存压得很小，多头依然是真正的多头。

曝光 844 · 评论 0 · 点赞 4 · 书签 2