卧槽,OpenAI 这波缓存有点离谱。 API 的 Prompt Cache 最长留 12 小时;Codex 和 Work 更夸张:登录用户缓存可永久保留,… · @wohsj110 · TwKit
@wohsj110
卧槽,OpenAI 这波缓存有点离谱。 API 的 Prompt Cache 最长留 12 小时;Codex 和 Work 更夸张:登录用户缓存可永久保留,恢复旧对话也能保证命中可复用缓存。几小时后回来,甚至重开很久以前的对话,都不怕缓存因为时间过去而失效。 关键还是成本和额度:缓存命中的输入 Token 折扣很大,部分模型只要正常输入价的 1/20。对订阅制 Agent 来说,同样额度能干更多活;几十万 Token 的长期编程任务,反复处理上下文的成本终于降了。 这玩意对 Agent 的意义,可能不比一次模型升级小。
曝光 5 · 评论 0 · 点赞 0 · 书签 0
查看原帖