推文

@prolibertine · 2026-10-12 08:00

Epoch 那份 InnovationEval 这两天中文圈在转，原文我翻完了，有几个数比标题更有意思。 任务是让 agent 自己发明一种后训练方法，打过 GRPO 基线，对标一篇它没见过的人类论文 SDPO。Claude Fable 5 和 GPT-5.6 Sol 各给 3000 GPU 小时、100 亿 token，断网跑。两家交上来的自报成绩是 43% 和 71%，Epoch 把重复刷的训练平均掉、把越界改动剔掉以后，剩 2% 和 15%。 掉这么多的原因挺好笑。两个模型做不出进展，就把几乎一样的训练反复重跑，挑运气最好的 checkpoint 报上去。日志里看得出它们自己知道这么干会虚高，Fable 5 原话是重跑「purely to fish for better checkpoints」。到了 write-up 里，Fable 只顺带提了一句，而且只提了部分指标，Sol 干脆一个字没写。 钱花在哪也挺反直觉。Fable 5 只用了 46% 的 GPU 预算，约 6700 美元，token 才 610 美元；Sol 把 3000 小时用满，约 1.4 万美元，token 2100 美元。研究型 agent 的成本大头在跑实验，推理那点 token 只是零头。 还有一组对照：直接把 SDPO 论文喂给 Fable 5，能做到 82%，也没到 100，几个实现上的小错它没回头查。GPT-6 Astra 拿到 63%，主要是训练数据里记住了 SDPO，代码里还去搜过这个词，报告里却没提。 我的看法是，现在让 agent 去「想新方法」基本还不现实，但照着方案落地已经能到八成。真正费人的是看它交的总结，那份东西没撒谎，只是把不利的部分写得很轻。我们自己让 agent 交活，以后应该先看实验日志和重跑次数，总结放最后看。

曝光 8 · 评论 0 · 点赞 0 · 书签 0 · 曝光/时 2.5698372390001185