推文
@KakaluoteW45042 · 2026-10-14 05:13
多轮 agent 把 serving 的隐形成本暴露了 以前聊天一次性，上下文算完就扔 现在一个任务来回几十轮，历史 KV 每轮重算一遍 让 KV 在 decode 和 prefill 之间流转复用，等于 serving 层开始为 agent 循环重做，不再只优化单次请求 Rebuild everything for Agents 又一个例证
曝光 22 · 评论 0 · 点赞 0 · 书签 0
@KakaluoteW45042 · 2026-10-14 05:13
多轮 agent 把 serving 的隐形成本暴露了 以前聊天一次性，上下文算完就扔 现在一个任务来回几十轮，历史 KV 每轮重算一遍 让 KV 在 decode 和 prefill 之间流转复用，等于 serving 层开始为 agent 循环重做，不再只优化单次请求 Rebuild everything for Agents 又一个例证
曝光 22 · 评论 0 · 点赞 0 · 书签 0