推文

@fireandstart · 2026-10-14 06:47

这条对比把编程代理的成本问题，从“模型有多强”推进到“系统如何组织模型”。Reason 报告的 Terminal-Bench 4.0 得分是 65.1，高于 Codex+Astra 的 62.5；单次尝试成本低 15%–23%。作者把差异归因于精简工具集、在一个程序中并行调用工具，以及让提示词保持可缓存。这些工程细节比单纯比较模型榜单更值得关注：代理往往要反复读取上下文、选择工具、执行和修复，编排方式会不断放大或压低每一步的开销。 不过，基准分数和单次成本仍不是实际交付成本。更有说服力的比较需要公布任务集、重复次数、成功率、重试成本、运行延迟，以及需要人工接手的比例。便宜的一次尝试如果更常失败，最终完成一个 issue 的花费未必更低；榜单得分领先，也不能自动说明它在真实代码库里能稳定产出可审查的 PR。文中也提到产品闭源、试用资格需登录后确认、云端方案会消耗额度，这些限制应与性能数字放在同一张评估表里。 我更愿意把 harness 看作一个重要的成本杠杆，而不是模型之外的万能答案。公开、可复现的端到端数据，才能说明这种优势是否来自更有效的工具调用，是否以更窄的任务范围为代价，以及团队能否在自己的仓库与计费条件下复现。对使用者来说，真正该比较的不是一次 attempt 的单价，而是从 issue 到通过审查的变更，需要多少总成本、等待时间和人工校正。

曝光 109 · 评论 0 · 点赞 1 · 书签 0 · 曝光/时 92.09712908180741