OpenAI将提示缓存延长至12小时 · 话题榜 · TwKit
AI科技 · 4 帖 · 3 位作者 · 曝光 238362
推文关注OpenAI将API提示缓存延长至12小时,以及Codex相关缓存机制的变化和实现方式。
- 比较不同推文对OpenAI缓存时长的描述和适用产品范围
- 讨论缓存保留时间延长对API和Codex使用成本的影响
@ScarletKc
卧槽,什么叫永久缓存???? OpenAI 这次有点离谱了。 API 的 Prompt Cache 现在最长可以保留 12 小时。 但 Codex 和 Work 更夸张:登录用户的缓存可以永久保留,而且恢复旧对话时也能保证命中可复用的缓存! 哪怕你几个小时后回来继续任务,甚至重新打开很久以前的对话,也不用担心仅仅因为时间过去就导致缓存失效。 这次最大的意义,其实是额度消耗和成本。 缓存命中的输入 Token 可以享受大幅折扣,部分模型甚至只需要正常输入价格的 1/20。 对于 Codex 和 Work 这种订阅制 Agent,缓存复用效率提高,也意味着相同额度有望完成更多工作。 尤其是那些几十万 Token 上下文的长期编程任务,反复重新处理上下文的成本可不低。 这玩意儿对 Agent 的意义,可能比一次模型升级还大。 永久缓存啊,这是什么概念???
查看原帖@xiangning0
day 16/ 今天突然放大招了,牙膏挤爆了卧槽 解释下什么叫缓存永久保留??? 没听说过这玩意啊,Deepseek也才保留3天 这下缓存命中无敌了, 某种程度上来说,这次改动堪比额度翻倍了 以后能不能都按这种级别的改动来,这才对嘛
查看原帖@MingTian685474
昨天刚在夸 deepseek 缓存 3 天,这下子 OpenAI 直接把缓存做到了永久 day 16 :API 用户支持 12 小时缓存,codex登录用户永久缓存 这下子一下成为缓存最久了
查看原帖@xiangning0
GPT今天的改动太震惊我了, 我还是想不通缓存永久保留是怎么实现的, 这里面没有套路吧😭 被坑怕了, 难道是云端保留一份缓存,对话前再算重新算一遍嘛? 但即便这样,后续消耗也会大减吧..
查看原帖