推文

@fireandstart · 2026-10-13 00:29

这篇工作的关键提醒是：自我改进系统不能只让模型自己打分。若 verifier（评分器）也跟着被优化，它就可能从“识别质量”滑向“迎合训练目标”；文中移除 anchor guards 后，评分器几乎给所有结果放行，表面任务分数却没有明显崩掉，正说明分数上涨不等于评估可靠。相对务实的做法，是保留一组模型和 agent 都不能改写的人工核验样本，用它校准 grader 版本，并在循环之外保留最终审查者。另一个值得产品团队注意的点是，粗糙评分器仍可能给迭代提供有用的失败反馈，但不应独自决定是否阻断或上线。也就是说，评估器既是学习信号，也是需要治理的产品组件：要能读懂、追踪版本、验证盲区，并明确它在哪些任务上不能做最终裁决。把“谁来验证评分器”纳入系统设计，比继续堆更复杂的自我改进循环更踏实。

曝光 22 · 评论 1 · 点赞 0 · 书签 0