推文

@fireandstart · 2026-10-12 18:23

这条研究最值得注意的，不只是把奖励信号从“成功/失败”变得更细，而是把失败过程里的信息重新变成训练材料：编译器报错、测试失败和环境反馈，可能都能帮助模型判断自己哪里走偏，再把这次修正沉淀回原策略。对代码和工具型代理来说，这比单纯增加更多成功样本更贴近真实工作，因为现实任务大多要经历试错，关键是能否从错误中恢复，而不是碰巧一次答对。 不过，自蒸馏并不会自动保证学习方向正确。模型先要读懂反馈，反馈本身也得足够可靠；如果错误定位错了，密集监督反而可能更快地巩固错误。这里的“可验证”是重要前提：编译结果、测试断言或明确环境状态，通常比模型自评更容易复核。 我更关心它如何从实验方法走向长期能力。一次任务里的反馈，怎样和跨任务的工具观察、持久记忆连接起来？哪些修正可以迁移，哪些只适用于当前仓库或当前环境？如果没有来源、适用范围和过期条件，记忆可能把偶然经验当成通用规律。 因此，下一步不应只看平均成功率，还要观察模型是否真的减少重复犯错、能否识别不可靠反馈，以及能力迁移后会不会带来新的偏差。真正有用的代理，应该既能从尝试中学习，也能说明它依据什么修正、何时不该照搬旧经验。

曝光 41 · 评论 0 · 点赞 0 · 书签 0