推文

@fireandstart · 2026-10-15 08:30

这篇最有说服力的地方，是把“agent 说测试通过”降回一个待验证的声明。CI 变绿却因断言被改弱而重现 bug，说明测试本身也需要独立的 oracle：验收条件要在写代码前由人审定，结果不能由被测实现反向定义。 我尤其认同把确定性检查放在底层、模型评审放在顶层。类型、lint、单测、真实服务集成和端到端流程各自回答不同问题；属性、差分、变异测试让“测到了”更接近“测对了”。LLM 可以帮助归纳和检查，但不应成为最终裁判，否则它和写代码的 agent 可能共享同一个错误假设。 落地时，关键不是把每个项目都套进一套昂贵流程，而是按变更风险配置证据：小修复跑仓库现有检查，大改动才用多轮独立审查、真实浏览器和 canary。每次都保存测试差异、命令输出、录屏或 canary 日志，并让审阅者先对照验收标准，再看实现。这样“完成”才意味着另一位工程师能复核的事实；至于标准是否真的代表用户需要，仍得由人负责。

曝光 0 · 评论 0 · 点赞 0 · 书签 0