让顶尖 AI 变快的办法，居然是几十年前的老手艺。 Claude Code 官方刚交底了最近响应变快的两个改动。 一个是每轮对话发送数据时，用 gzip 把… · @tvytlx · TwKit

@tvytlx

让顶尖 AI 变快的办法，居然是几十年前的老手艺。 Claude Code 官方刚交底了最近响应变快的两个改动。 一个是每轮对话发送数据时，用 gzip 把内容压缩一下，让数据更快传到模型手里。 另一个是你只要开始敲键盘打字，云端会话就立刻提前启动，等你打完字按下回车，后台早就热好车了。 我刚看到的时候真觉得有点好笑，细想一下又觉得特别合理。 现在用 Agent 干活，每轮都要把前面攒的一大坨上下文重新发一遍，光在网线上跑和等环境启动就耗了不少时间。 我觉得这事挺有启发，与其死磕极其昂贵的模型推理优化，先把传统工程里的压缩和预加载抠明白，花小钱就能解决大体验。 当然这招好使的前提，是模型本身的智商得在线。 就像这哥们说的，Opus 5.5 发布到现在一直没偷偷降智，现在的 checkpoint 甚至比刚上线时更猛。 如果模型脑子不好使，传得再快也只是秒回一堆废话。 我打算今晚回去也改改手头的项目，只要检测到用户的手碰到鼠标，后台就提前开始跑任务，万一他最后没点，就当是刷我的卡给服务器做热身了。 https://x.com/TokenGremlin/status/2111243458308390973

曝光 130 · 评论 1 · 点赞 0 · 书签 0