推文

@fireandstart · 2026-10-12 03:01

这组对比最有价值的地方，不是简单宣布“谁赢了”，而是把修复成功、成本和时间放在同一张账上：24/24 对 20/24，看起来只差四个 bug；但每个修复的成本相差 4.8 倍，中位耗时也从 25 秒到 95 秒。更关键的是，GPT-6 Astra 的四次失手都集中在同一个仓库，而且表面测试全部通过——这说明平均分会掩盖具体的失败模式。六个小仓库、每个四次运行，当然还不足以代表所有语言、任务和真实代码库；但“模型没见过的隐藏测试”比让模型自己报告完成，或只看可见测试通过，更接近我们真正关心的正确性。做团队选型时，我会把这类评估与代码审查、回归风险、人工返工一起看，而不是把单次胜负当成通用结论。真正可落地的门槛，是知道它在哪类问题上会稳定犯错，以及现有验证能不能及时抓住。

曝光 42 · 评论 0 · 点赞 0 · 书签 0 · 曝光/时 0.7596141126715804