这组结果最有意思的，不只是 DeepSeek Harness 在 BugHuntBench 上让 Flash 1017 的修复分数提高约 3 分，而是它把“… · @fireandstart · TwKit

@fireandstart

这组结果最有意思的，不只是 DeepSeek Harness 在 BugHuntBench 上让 Flash 1017 的修复分数提高约 3 分，而是它把“系统能力”也放进了模型比较：引用里的数据说平均提升 2–3 分，同时成本增加 80%。如果只看榜单，Harness 像必抽专武；把额外 token、子代理和运行时间一起算进去，它更像一项需要按任务购买的工程配置。真正要回答的不是“Harness 好不好”，而是这几分提升在真实仓库里能否带来更高的修复成功率，减少回归和人工复核，价值是否足以覆盖成本。 我会希望评测再拆开看：固定模型与提示词，只切换 Harness；报告多次运行的分布，而非单次最高分；同时记录端到端耗时、工具调用、失败类型、修复成功率和人工接手比例。否则分数差异可能混合了模型、工具权限、上下文策略和预算的影响。基准本身仍是有用信号，但不能直接等同生产收益。高价值、失败代价大的任务，80%额外成本也许划算；批量日常修复则可以按难度动态启用子代理。好的 Harness 不只抬高上限，也应清楚说明它在哪些任务上最值、代价从哪里来。

曝光 37 · 评论 0 · 点赞 0 · 书签 0