让 AI 判断机器人有没有把活干成，最好先别告诉它活是什么。 华盛顿大学和英伟达刚发了一篇论文，叫 D&A。 背景是这样的： 现在很多人想用 GPT、Gem… · @tvytlx · TwKit

@tvytlx

让 AI 判断机器人有没有把活干成，最好先别告诉它活是什么。 华盛顿大学和英伟达刚发了一篇论文，叫 D&A。 背景是这样的： 现在很多人想用 GPT、Gemini 这种能看视频的模型给机器人打分。看一段操作视频，判断任务完成了几成，再把这个分数当成强化学习的奖励。 但这玩意有个毛病。 你把任务和视频一起丢给它，它特别爱说“有进展”。 明明是失败的视频，它也能看出进步来。 论文管这个叫确认偏误。 我觉得挺像人的：心里知道该看到什么，就真的会看到什么。 他们的解法简单到有点离谱。 第一步，只给视频，不给任务，让模型老老实实描述画面里发生了什么。 第二步，拿这段文字描述，对照一份写清楚的成功标准去打分。 模型从头到尾都没有同时看到任务和视频。 纯提示词，不训练，也不用机器人数据。 最直观的一个实验： 任务是“把水果放进碗里”，机器人老去抓旁边的冰淇淋筒。 旧方法给抓冰淇淋也打高分，结果越训越偏，最后成功率 5%。 D&A 给冰淇淋直接打 0 分，在线训练大概 90 分钟，成功率从 10% 涨到 100%。 还有一个搬书的任务，直接模仿学习成功率 20%，用 D&A 的分数分出好坏示范再训，到了 100%。 我觉得更值钱的是这一点： 以前想要一个好的奖励模型，得花大钱采真实机器人数据，每换一个底座模型就得重训一遍。 D&A 只是一套提示词，效果追平甚至超过那些专门训过的奖励模型。 他们测了 4 个模型家族、28 个模型，底座越强，打分越准。底座模型一升级，它就跟着升级。 当然也有边界。 越弱的模型提升越大，Qwen 3.6 Plus 涨了一大截，GPT-6 Astra 这种顶级模型只涨了一点。 Gemini 4 Argon 在一个基准上还略降了，作者怀疑它训练时见过那套题。 完整流程要调 3 次 API，比直接问贵。 这事我觉得远不止机器人。 你让 AI 评价方案、审代码、看稿子，只要它先知道你想要什么，就容易顺着你说。 可以学这个拆法：先只让它描述这东西实际干了什么，再开个新对话，拿这段描述对照标准打分。 我以后让 AI 看我写的东西，也先不说我想表达啥，让它复述一遍我到底写了什么。 多半复述完，我自己就不想发了。 https://x.com/memmelma/status/2117628112972247073

曝光 193 · 评论 0 · 点赞 0 · 书签 2