Codex与Work“永久缓存”引发成本和实现方式讨论 · 话题榜 · TwKit

@ScarletKc

卧槽，什么叫永久缓存？？？？ OpenAI 这次有点离谱了。 API 的 Prompt Cache 现在最长可以保留 12 小时。 但 Codex 和 Work 更夸张：登录用户的缓存可以永久保留，而且恢复旧对话时也能保证命中可复用的缓存！ 哪怕你几个小时后回来继续任务，甚至重新打开很久以前的对话，也不用担心仅仅因为时间过去就导致缓存失效。 这次最大的意义，其实是额度消耗和成本。 缓存命中的输入 Token 可以享受大幅折扣，部分模型甚至只需要正常输入价格的 1/20。 对于 Codex 和 Work 这种订阅制 Agent，缓存复用效率提高，也意味着相同额度有望完成更多工作。 尤其是那些几十万 Token 上下文的长期编程任务，反复重新处理上下文的成本可不低。 这玩意儿对 Agent 的意义，可能比一次模型升级还大。 永久缓存啊，这是什么概念？？？

@xiangning0

day 16/ 今天突然放大招了，牙膏挤爆了卧槽 解释下什么叫缓存永久保留？？？ 没听说过这玩意啊，Deepseek也才保留3天 这下缓存命中无敌了， 某种程度上来说，这次改动堪比额度翻倍了 以后能不能都按这种级别的改动来，这才对嘛

@xiangning0

GPT今天的改动太震惊我了， 我还是想不通缓存永久保留是怎么实现的， 这里面没有套路吧😭 被坑怕了， 难道是云端保留一份缓存，对话前再算重新算一遍嘛？ 但即便这样，后续消耗也会大减吧..

@MingTian685474

昨天刚在夸 deepseek 缓存 3 天，这下子 OpenAI 直接把缓存做到了永久 day 16 ：API 用户支持 12 小时缓存，codex登录用户永久缓存 这下子一下成为缓存最久了

@ScarletKc

冷静下来想了一下，Codex 和 Work 的永久缓存，我觉得大概率是额度上的永久。机器上不可能真给每个人永久存着。 Prompt Cache 存的不是你的原文，是模型算好的 KV。模型读上下文时，每个 token 都要算出一组 Key 和 Value，后面的 token 靠它们回看前文。下次请求开头完全一样，就直接拿这批 KV 来用，省掉把整段上下文重新算一遍的过程，也就是 prefill。 每个 token 的 KV 都依赖它前面所有的 token，所以前缀必须一个字都不差，前面改一个字，后面就得全部重算。切模型、改开头的指令、compact 都会让缓存用不上，Codex 连改工具定义都是在末尾追加说明，不去动前面的内容。 问题是 KV 很大。拿开源的 Llama 3 70B 粗算，一个 token 的 KV 大概 320KB，20 万 token 的上下文就是 60 多 GB。GPT 的结构不公开，可能有各种压缩，但给每个用户的每个对话永久存这种量级的数据，不现实。而且这些缓存放在具体某台机器的显存或本地存储里，请求得被路由到那台机器才能命中。 OpenAI 文档里对 12 小时缓存也写得很清楚，这个时长只决定你能不能按缓存价计费，不保证每次请求真的复用了存下来的 KV，也不保证延迟更低。 所以我猜 Codex 和 Work 也是一样的逻辑。KV 真被清掉了，OpenAI 就在后台重新算一遍，但还是按命中缓存扣你的额度。机器上那份 KV 还在不在，是 OpenAI 自己的事。 8 月 Tibo 自己说过，有些用户缓存命中率变差，额度就掉得更快。现在等于把没命中的风险从用户这边挪到了 OpenAI 那边。API 想要 12 小时缓存，写入得付 2.5 倍输入价，我感觉多出来的就是在为这个保证买单，订阅用户这份钱 OpenAI 自己出了。 对用户来说额度照样省。唯一可能感觉到的是隔很久回来，如果缓存真没了，第一条回复会慢一点，因为要重新 prefill。

@off_thetarget

很多人还没意识到 Codex 和 Work 这次搞的「永久缓存」到底意味着什么 目前绝大多数 API 的 Prompt Cache，生命周期基本卡在 12 小时以内。超过这个窗口，缓存自动失效，状态全部清空 但 Codex 和 Work 的做法直接跳出了纯 API 的逻辑：把缓存与登录用户深度绑定，做到跨会话、跨周期的永久保留 哪怕一个重型项目你放置了几天甚至几周，只要重新拉起旧对话，上下文依然能稳定命中 这东西最大的价值不在于省了多少毫秒的延迟，而在于重构了 Agent 的经济模型： 边际成本被直接按死：缓存命中的 Token 价格直接下探到正常输入的 1/20（降幅 95%）。 1. 长任务的冷启动成本归零：在几十万 Token 的工程级代码库里，反复交互最烧钱的从来不是新生成的内容，而是每次回车都必须重新过一遍全部历史上下文。 2. 订阅制 Agent 的生产力杠杆放大：同样的月度配额，以前跑几个长周期任务额度就见底，现在等同于把有效交互轮次拉高了一个数量级。 真的进步太快了

@dotey

这些天以来目前为止最有价值更新：Codex 和 Work 的登录用户，缓存会永久保留，回到几小时前的旧对话或恢复会话，都保证命中缓存，没有“惩罚”（我理解是不会按照缓存失效收费）。 怀疑是保存到磁盘了，那也很牛👍 除此之外，OpenAI 开发者官方账号宣布，API 的提示缓存现在可以保留 12 小时，默认仍是 30 分钟。首次写入收原价 2.5 倍，之后读取缓存只收 1 成。 官方文档：https://developers.openai.com/api/docs/guides/prompt-caching

@UFO2002616

有人能告诉我这个缓存就是缓存命中算的缓存吗？ 那岂不是额度会坚挺的飞起？要是这样我将从 Tibo 批评家转行为 Tibo 鉴赏家

@UFO2002616

今天 ChatGPT 更新了缓存策略， 帮 Tibo 发个问卷调查： 你们的额度消耗有变慢吗？🤔