2-bit KV cache 的难点，不只是把数值压小：MLA 共享潜变量的误差会同时传到注意力匹配和 value 读取。 https://arxiv.or… · @vintcessun · TwKit

@vintcessun

2-bit KV cache 的难点，不只是把数值压小：MLA 共享潜变量的误差会同时传到注意力匹配和 value 读取。 https://arxiv.org/abs/2610.20686 RoLaQ 联合校准旋转基底、量化范围和重建增益，让同一份压缩缓存适配两条投影路径。DeepSeek-V2-Lite 在 A100、256K 输入的 SGLang 测试中，显存预算相同时，KV 容量是 BF16 的 3.96 倍，decode 吞吐达 2.51 倍。限制也很实际：RoPE key 仍是 BF16，位置缓存和元数据没省掉；短上下文下，量化与解包开销也可能吃掉收益。

曝光 82 · 评论 2 · 点赞 1 · 书签 1