学完 MLA，我脑子里想到一个问题 DeepSeek 靠 MLA，把 KV cache 压掉了九成多 同一张卡能服务的用户翻了好几倍 成本下来了，价格才打得… · @antiAIvo · TwKit

@antiAIvo

学完 MLA，我脑子里想到一个问题 DeepSeek 靠 MLA，把 KV cache 压掉了九成多 同一张卡能服务的用户翻了好几倍 成本下来了，价格才打得这么狠 可是，论文是公开的, 代码也是开源的 那为什么 Kimi、Claude、GPT 这些厂商， 不直接照抄，把自己的价格也打下来？ 带着这个问题查了一圈，才发现自己“无知”和“未知”😅 先说 Kimi Kimi K2 其实已经在用了 它的架构基本沿着 DeepSeek-V3 的路线走 注意力用的就是 MLA，再加上 MoE 再说 Claude 和 GPT 它们是闭源的，架构细节不公开 外界只能说“不知道”，不能说“没用” 它们完全可能有自己的省显存手段，只是没告诉你 那剩下的问题是： 就算技术开源，为什么不是人人马上照搬？ 我理解有三层原因： 第一，MLA 不是插件，得从头训 注意力结构在预训练阶段就定型了 已经训好的模型，没法简单换上 MLA 2024 年中才公开 很多厂商的下一代模型当时早就在训练路上了 第二，省显存不只有一条路 更主流的做法叫 GQA，Llama 系列就在用 简单、成熟、推理框架支持好 MLA 省得更狠，但实现更复杂 位置编码要单独处理，底层算子要重写 各家会根据自己的工程积累做取舍 第三，也是最关键的：价格不只由成本决定 头部厂商靠能力和生态就能赚钱，完全不需要降价

曝光 1710 · 评论 5 · 点赞 16 · 书签 7