同一个 Gemini 4 Argon，只换了跑任务的外壳，FrontierCS 2 上的通过率就从 39.6% 涨到了 54.2%。 FrontierCS … · @willzero · TwKit

@willzero

同一个 Gemini 4 Argon，只换了跑任务的外壳，FrontierCS 2 上的通过率就从 39.6% 涨到了 54.2%。 FrontierCS 2 是上周新出的一个 agent 基准，48 道题，每道来自一篇计算机论文。出题的人把论文核心贡献对应的代码从作者开源的仓库里删掉，让 agent 自己补回来。不给看论文，不能上网，最多跑 5 个小时，每题只有一次机会。最后交上去的版本要在作者定的每个指标、每个隐藏测试上都追平或超过原方法，才算过。 Argon 一开始是用通用的 Pi 跑的，过了 19 道，排在 GPT-6 Astra 后面。作者之一 Wenhao Chai 回头翻运行记录，发现 48 次里有 10 次是模型那边的内容过滤拒了一个请求，Pi 就把整轮直接结束了，后面的活一点没干。 换成 Google 自家的 Antigravity，碰到拒绝会重试。再跑一遍过了 26 道，超过 Astra 的 21 道，只比 Claude Opus 5.5 的 28 道少 2 道。 拿官网列的每次运行平均花费，换算成每过一道题要花多少钱，大概是这样。 Opus 5.5 加 Claude Code，约 34 美元 Argon 加 Antigravity，约 36 美元 Astra 加 Codex CLI，约 38 美元 Argon 加 Pi，约 26 美元，便宜一部分是因为两成运行半路就停了 GPT-6.1 Sol 加 Codex CLI，约 8.6 美元，过了 17 道 我觉得看 agent 排名的时候，模型名后面那一栏外壳得一起看。同一个模型，只改了碰到拒绝怎么处理，名次就从第三变成第二。另外这批成绩在 Kaggle 上还标着是作者自己报的分，Kaggle 说正在和作者一起复现。 如果你自己在接 agent，建议先翻一遍运行日志，数数有多少轮是被拒绝、超时或者报错直接结束的。这个比例要是不低，先把重试加上，再考虑换模型。

曝光 58 · 评论 2 · 点赞 0 · 书签 0