推文
@KakaluoteW45042 · 2026-10-09 07:53
这几年推理优化一直在砍搬运成本，量化、KV cache、投机解码，本质都是少搬数据。等内存墙被打穿，下一个瓶颈未必在 GPU，而在 agent 栈：工具调用、上下文管理、调度的开销会越来越显眼。Infra 为 agent 重做一遍不是口号，是成本结构逼出来的。
曝光 128 · 评论 1 · 点赞 1 · 书签 0 · 曝光/时 1.937796305809022
@KakaluoteW45042 · 2026-10-09 07:53
这几年推理优化一直在砍搬运成本，量化、KV cache、投机解码，本质都是少搬数据。等内存墙被打穿，下一个瓶颈未必在 GPU，而在 agent 栈：工具调用、上下文管理、调度的开销会越来越显眼。Infra 为 agent 重做一遍不是口号，是成本结构逼出来的。
曝光 128 · 评论 1 · 点赞 1 · 书签 0 · 曝光/时 1.937796305809022