当推理模型需要连续生成几万 token 时，GPU 显存里保存的不只是输入问题，还有不断增长的中间推理历史。对于长链式推理（long-chain reaso… · @qingke_ai · TwKit

@qingke_ai

当推理模型需要连续生成几万 token 时，GPU 显存里保存的不只是输入问题，还有不断增长的中间推理历史。对于长链式推理（long-chain reasoning），KV Cache 往往成为限制并发和吞吐的重要瓶颈。 压缩 KV Cache 的常见做法是：先判断哪些历史位置最值得保留，再按照固定预算删除其余 KV。 过去几年，从 attention weight、value magnitude 到 key statistics，不同方法设计了越来越复杂的 importance score。但一个基础问题仍然值得检验：这些内容相关的打分信号，究竟为长推理带来了多少额外收益？ Salesforce AI Research 与伊利诺伊大学厄巴纳-香槟分校（UIUC）的研究人员提出 Random Attention，选择了一个近乎相反的方向：保护完整输入 Prompt，对其余 reasoning KV 不做内容重要性判断，而是在每个 KV head 中随机保留。 实验显示，这种极简策略在四个模型、六个推理任务上的整体准确率与最强的实验基线相近；在相同 KV budget 的 vLLM serving 测试中，相比 TriAttention 还取得 32%–43% 的吞吐提升。 更值得关注的是，论文通过一系列对照实验指出：相比精细的 KV 排名，Prompt 是否完整保留，以及 reasoning trace 自身包含多少冗余信息，可能更直接地决定压缩效果。

曝光 6 · 评论 1 · 点赞 0 · 书签 0