这个省钱实在。 API 提示缓存现在能留 12 小时:同一套指令、工具和上下文,隔几个小时再调用,照样按更便宜的缓存输入价算。 最受益的是全天在跑的智能体,… · @Daviswh · TwKit
@Daviswh
这个省钱实在。 API 提示缓存现在能留 12 小时:同一套指令、工具和上下文,隔几个小时再调用,照样按更便宜的缓存输入价算。 最受益的是全天在跑的智能体,比如客服机器人、定时汇报、代码助手,它们每次都要带上同一大段系统提示。 我的判断:想吃到这个价,提示里固定不变的部分要放最前面,常变的用户问题、时间戳放最后,不然缓存从开头就对不上。
曝光 43 · 评论 0 · 点赞 1 · 书签 0
查看原帖