OpenAI API 的 prompt 缓存现在可以选 12 小时了。对一整天都在复用同一套指令、工具和上下文的常驻 agent，两次请求哪怕隔了几个小时，… · @Moblacksoil · TwKit

@Moblacksoil

OpenAI API 的 prompt 缓存现在可以选 12 小时了。对一整天都在复用同一套指令、工具和上下文的常驻 agent，两次请求哪怕隔了几个小时，也能用上更低的缓存输入价。 默认还是 30 分钟，也可以在同一个请求里混用：共用指令选 12h，较新的对话内容留 30 分钟。 12h 缓存有额外成本，值不值主要看复用频率。同一套上下文一天反复命中，省下的费用就可能明显盖过这笔额外开销。

曝光 38 · 评论 1 · 点赞 2 · 书签 0