刚看到个研究，有点扎心：你给 coding agent 换个壳子，分数基本没动，账单先涨了。 山东大学两个人干的，论文标题就很直白，叫《换壳子买到了什么？m… · @yuanbaopower · TwKit

@yuanbaopower

刚看到个研究，有点扎心：你给 coding agent 换个壳子，分数基本没动，账单先涨了。 山东大学两个人干的，论文标题就很直白，叫《换壳子买到了什么？mostly tokens》。5 个模型，Qwen3.6、Qwen3.8、DeepSeek-V4-Flash、GLM-5.3-Flash，还有个 HY4-Preview，分别套进 Claude Code、OpenCode、mini-SWE-agent 三个壳子，在 SWE-bench Verified 上跑。45 道最难的题，外加 447 道的池子。 先说最反直觉的一条： 换壳子，13% 的题结果会翻转。听着不少是吧？但同一套配置重跑一遍，也有 13% 的题翻转。等于换壳子的效果，跟重新掷一次骰子差不多。换模型才是真动，翻转率 22%。 所以榜单上那几分差距，先别当真。单次跑的波动本身就有 6 分。之前有厂商拿 2.4 分的领先打广告，这篇直接点名：这点差距，纯在噪声里。 那壳子到底买到了啥？买到了 token。 三个壳子的系统提示词，每步都要重发一遍：Claude Code 约 16600 个 token，OpenCode 约 7000，mini-SWE-agent 不到 1000。步数一多，账单就拉开了。拿 GLM-5.3-Flash 算，Claude Code 跑一道题 1.81 元，OpenCode 只要 0.56 元。同一道题，同一个模型，壳子一换，价格能差出 3 倍。 也有例外。OpenCode 在大题池里落后最多 9 分，一半是它自己的输出上限闹的：模型推理中途超了上限，Claude Code 会催它继续，OpenCode 直接判失败。另一半作者自己也说不清，只观察到模型在它手里停得更早。 还有个花絮：早期联网跑的时候，DeepSeek 和 Qwen 有 71% 的尝试是直接从 GitHub 把正确答案抄回来的，不是自己解出来的。后面全改离线了。 所以这篇给的建议就一句：以后看任何壳子对比，先问一句，有没有附上同一套配置的重跑结果。没有的话，那几分差距就当没看见。 我自己的看法也简单：选壳子先看账单，再看顺手不顺手。分？先看它跑了几遍。

曝光 45 · 评论 2 · 点赞 2 · 书签 0