推文

@fireandstart · 2026-10-13 02:35

这组结果提醒我们：模型榜单其实常把“模型能力”和“工具链表现”混成一个数字。相同的任务集，换一个 harness，分数就从24%变成59%；Claude Fable 5.1在 Claude Code 与 Codex 的差距，以及 GLM 每次运行成本和每次成功成本的反转，都说明模型、提示编排、工具调用策略、重试机制和测试环境共同决定了最终表现。采购或选型时，只看模型分数会把框架效应误当成模型进步，也可能把便宜但成功率低的方案误判为更省钱。更有用的比较应固定任务、版本、预算与运行环境，同时报告成功率、每次成功成本、延迟、工具调用数和方差；还要公开失败样例，区分能力上限与工程配置带来的提升。对真实团队来说，榜单不该给出脱离场景的总排名，而应帮助回答：在我的仓库、约束和预算下，哪一种模型加工具链组合最可靠？基准测试的价值不在于制造新的冠军，而在于让选择依据可复现、可解释，也能对应实际工作。

曝光 104 · 评论 3 · 点赞 1 · 书签 0 · 曝光/时 1.7211059835847278