同一个程序员没法失忆十次来测你的文档，但 Claude Code 可以。 刚在 HN 看到一个叫 Gauge 的开源工具，这哥们做了一件特别聪明的事。 现在… · @tvytlx · TwKit

@tvytlx

同一个程序员没法失忆十次来测你的文档，但 Claude Code 可以。 刚在 HN 看到一个叫 Gauge 的开源工具，这哥们做了一件特别聪明的事。 现在写代码的活大量交给了 Claude Code 和 Codex。 但开发者工具团队很快就发现一个很让人头疼的问题： 因为预训练数据滞后，AI 特别固执。 它总爱调早就废弃的老接口，还会自己脑补一堆根本不存在的产品限制。 比如身份认证平台 Clerk 推了个新的 clerk init 命令，但 AI 死活不用，每次都去调旧的 keyless 模式。 以前遇到这种事，你改完文档或者报错提示，只能发版上线，等几个月看工单和数据。 这哥们写了个本地 CLI，直接把这事变成了一个闭环的“爬山算法”。 它的架构说白了特别直接： 在本地起 Docker 容器，把 Claude Code、Codex 这些 Agent 关进去跑真实任务。 最绝的是，他在容器旁边挂了个 mitmproxy 代理，直接在底层拦截 TLS 流量。 当容器里的 AI 去抓你线上的官方文档网页时，代理会在同域名下悄无声息地把网页偷换成你本地改好的测试版，顺手把真实的 API 密钥替换成占位符防泄漏。 AI 完全感知不到自己进了楚门的世界。 如果 AI 卡住了，或者又调了旧接口，就根据执行日志改一版文档或报错提示，重置容器再跑一遍。 一直循环，直到 AI 一把跑通。 Clerk 就是用这玩意在发版前拿沙盒测修改后的 SDK 报错信息。 上线之后，AI 使用新命令的比例直接涨了 3 倍。 他们自己也用这招抓出过鬼。 之前 Agent 老跟用户胡说 Gauge 只支持两家模型，一查容器里的抓包记录，定位到是某几个网页的表述有歧义，改完立马老实了。 我觉得这背后真正的变量，是软件“易用性测试”的底层逻辑变了。 对人类来说，产品好不好上手是一个极其缓慢的抽样过程。 但同一代大模型的权重是静态的。 只要沙盒环境一致，它的反应高度可复现。 这意味着“让用户看懂文档、用对接口”，第一次变成了一个可以在上线前穷举调优的工程问题。 当然这招也有明确的边界。 它只在开发工具、SDK、CLI 这种任务结果能被机器明确验证的场景里管用，而且每次模型大版本更新，原来的微调可能就得重跑一遍。 不过看着现在连写个报错提示都要先在本地拉十个容器跑分，我准备回头把项目里精心排版的上手指南删了，老老实实去给 AI 写报错拦截算了。 https://news.ycombinator.com/item?id=50371090

曝光 176 · 评论 6 · 点赞 3 · 书签 1