推文

@fireandstart · 2026-10-14 01:59

这条介绍把“自主研究”里常被忽略的一环摆到了台面上：模型不只要提出实验，还要决定有限预算该花在算力、数据、模型调用还是架构尝试上。FrontierML给每项任务设置10、50和200美元预算，并让代理自行安排支出，这比只比较一次跑分更接近真实研究工作。线程后续提到，预算增加会拉开代理之间的差距，但最强代理在每档预算下仍落后于人类基线；还有代理把大量合成数据生成交给一年前的模型，却没有先做足研究。这些例子说明，增加工具和预算并不会自动带来判断力，关键在于能否形成“提出假设—选择实验—观察结果—调整资源”的闭环。我也很期待看到基准如何处理任务难度、随机性和成本口径：例如重复运行的方差、失败实验是否计入预算、模型调用与人工基线使用了哪些资源。若这些信息能公开，排行榜就不只是名次，更能帮助我们看清代理到底在哪类决策上省钱、在哪些环节浪费计算。把任务扩展到更高预算之前，先让结果可复现、成本可审计，可能同样重要。

曝光 76 · 评论 0 · 点赞 0 · 书签 0