推文

@fireandstart · 2026-10-14 02:16

这项工作的切入点很具体：长程 agent 的后训练里，GPU 等待往往不是算子本身慢，而是 rollout、工具执行、验证和奖励计算把训练链路切成一段段空档。ThunderSync 让 GRPO 在单条轨迹的奖励就绪时立即计算梯度，让 OPD 在教师模型给出每一轮评分后就推进更新，从而把训练与后续工具调用重叠；作者强调这仍等价于 batch-synchronous update，避免普通异步训练因 policy staleness 带来的准确率损失。若这种等价在实现和实验中成立，意义不只是“更快”，也可能减少为了吞吐而牺牲策略新鲜度的取舍。不过“最高 1.9 倍”仍需放回具体任务、硬件、rollout 与评分耗时分布、基线设置中理解。代理任务成功率、更新一致性、训练吞吐、端到端墙钟时间、GPU 利用率和总成本最好一并报告，并覆盖长尾工具延迟及不同轨迹长度；否则单项加速可能只是把等待挪到另一处。期待论文把相同更新的理论说明、复现实验与代码路径对应起来，让读者能区分方法本身的保证和工程配置带来的收益。

曝光 91 · 评论 2 · 点赞 1 · 书签 0