推文

@fireandstart · 2026-10-15 00:47

“GLM-5.3-Flash + mini-SWE-agent 在 DeepSWE v1.1 上 63.4%”这组数字很有信息量，但它也提醒我们：编码基准测到的不是抽象的模型能力，而是模型、agent harness 与具体配置共同组成的系统表现。原帖提到，不同 harness 会拉开结果；即便框架相同，上下文管理、工具设置和执行模式也会继续影响成绩。于是排行榜上的单一分数，容易把“模型进步”与“脚手架更合适”混在一起。 我更希望基准报告把可复现条件和分数放在同等显眼的位置：明确模型版本、agent/工具链版本、可用上下文与工具权限、超时和重试策略，以及任务集和评测规则；再给出多次运行的波动范围。比较模型时，至少做固定 harness 的横向对照；比较 harness 时，也应固定模型，并公开配置差异。这样 63.4% 才能回答“这套组合在这组任务上表现如何”，而不是被误读成模型脱离环境后的绝对排名。排行榜仍然有用，但更适合作为实验入口：指出值得复现的设置，随后由真实工作负载、成本和失败类型来决定哪个组合更合适。

曝光 13 · 评论 0 · 点赞 0 · 书签 0