推文

@MaxForAI · 2026-10-15 11:15

有意思，最近越来越觉得，RSI这个方向正在被越来越多的实际研究一点点推进。 刚看到UCLA和Adobe Research发了一项很有意思的工作Tev，专门研究怎么规模化训练长任务Agent。 他们直接训练出了一个27B模型，在Agents'LastExam的计算和数学科学任务上，Pass@5达到了28%，和GPT-6Astra、Claude Opus5持平？？？ 当然，这只是特定子集上的结果，但考虑到模型只有27B，还是挺有意思的。 而且他们这个思路我觉得比成绩更值得关注。 具体是：现在很多Agent已经可以连续工作几个小时，甚至更长，但怎么通过强化学习去训练这种Agent，其实是一个很麻烦的问题。 首先，你很难大规模构造这种复杂任务。 其次，即使你构造出来了，模型也很难学。 因为一个任务可能需要连续执行几十步，最后失败了，传统的结果奖励往往就只能给零分。 模型即使前面90%的工作都做对了，最后一步出了问题，整个过程也可能得不到有效的学习信号。 Tev的思路是先构造一个完全正确的任务世界，里面有完整的工作流程、正确答案和每个阶段应有的状态。 然后反向生成一个有问题的环境，让Agent自己去修复（这个非常关键）。 这样训练系统就知道Agent每一步究竟做对了多少，即使最终没有完成任务，也能根据中间进度提供奖励。 他们用这种方法构造了1170个可验证的长任务环境，覆盖软件工程、数据工程、AI研究、数学、安全、基础设施等7个领域。 更有意思的是，这套方法还可以迁移到不同规模的模型上。 他们拿GLM-5.3-Flash继续训练，得到Tev-320B，在Terminal-Bench4.0的计算与数学子集上，Pass@1从29%提升到了37%。 我觉得这个事情其实很能说明问题。 我们一直在讨论怎么让Agent持续变强，怎么让能力提升越来越少地依赖人类参与。 但这背后需要解决大量非常具体的工程和研究问题。 训练数据从哪里来，复杂任务怎么自动生成，中间状态怎么验证，失败轨迹怎么变成有效的学习信号。 Tev恰好在解决其中非常关键的几个问题。 而且它已经能够通过实际训练，让不同规模的模型在长任务能力上取得提升 RSI的很多基础能力，就是这样一点点被做出来的。

曝光 582 · 评论 1 · 点赞 1 · 书签 0