很早就发现 DeepSeek 的缓存命中折扣是 97%，其他家基本都是 90%，也就是缓存命中的 input context 收费比其他家便宜 3 倍。对 … · @bojie_li · TwKit

@bojie_li

很早就发现 DeepSeek 的缓存命中折扣是 97%，其他家基本都是 90%，也就是缓存命中的 input context 收费比其他家便宜 3 倍。对 agentic workload 来说实际成本可以降低 40% 左右。 这次开源的 DeepInfer 可以做到缓存 72 小时，别人家都是缓存 5 分钟或者 1 小时。对 Claude，缓存 5 分钟的情况下很多比较长的工具调用就会导致 cache miss，缓存 1 小时的情况 usage limit reset 也会导致 cache miss，所以我在每次 5 hour limit 之后都不会 resume 原有的 agent，而是走 compaction 流程重新开新的 agent，否则几十个 agent 一启动就会耗掉几十刀的 token。 infra 优化还有非常多空间可做！感谢 DeepSeek 的贡献。

曝光 7 · 评论 0 · 点赞 0 · 书签 0