TwKit
正在载入
TwKit

A/今天给Claude API上线了一个叫Message Threads的新特性,专门解决长会话越跑越卡的问题。 例如,平时用Agent只要对话轮数一多,每… · @ohayou792 · TwKit

@ohayou792

A/今天给Claude API上线了一个叫Message Threads的新特性,专门解决长会话越跑越卡的问题。 例如,平时用Agent只要对话轮数一多,每次请求都得把前面几轮的聊天记录、工具报错和几十张截图全量重发一遍。 上下文滚到五六十万Token之后,哪怕你只是让它改个变量名,光把这堆历史数据重新上传过去就得卡半天。 这次更新的Message Threads就是让你在第一轮把完整上下文发过去,后面每一轮请求只传新增的消息和上一条回复的ID,剩下的历史记录由A/在服务端直接帮你接上。 官方实测500K到1M Token的重度会话,首字响应时间直接降了35%,而且Claude Code已经默认开启了。 但是我想说,很多人看到每次只传新增消息,还以为连重复的输入Token消耗也能跟着省下来。 但翻一下文档细节就会发现,请求体积虽然小了,Claude在后台生成每一轮回复时还是会把整段历史重读一遍。Token额度该怎么扣还怎么扣,不会省一个Token,省下来的纯粹是客户端上传大包和服务端解析JSON的网络耗时。 另外这功能在工程落地上还有个很容易踩的坑。 A/在服务端根本不把这些会话写进硬盘,只是临时加密放在内存里,只要距离上一轮请求超过五分钟就直接清空。一旦你的Agent在本地跑个耗时久一点的编译测试,或者卡在人工确认环节超过五分钟,服务端的线程就没了。 所以客户端本地依然得老老实实存好全量历史记录,随时准备在超时后重新发一遍全量包。

曝光 272 · 评论 0 · 点赞 3 · 书签 0

查看原帖