推文

@Keji715 · 2026-10-12 17:56

AI的作弊问题正在越来越难以发现。 The MAD Podcast 这期请来 Goodfire CEO Eric Ho。团队做机制可解释性：不只看模型说了什么，而是直接看内部激活，试着在行为发生前读出它正在想什么。 1️⃣ 奖励黑客，到底是模型变坏了，还是目标给歪了？ Eric 的比喻很准：AI agent 像一个没有道德、老师又基本缺席的学生。RL 只按结果给奖惩，并不教授道德和价值。 游戏角色发现角落转圈就能涨分，于是一直转圈；换到代码评测里，就是不解题，转而回忆答案、查日志、翻代码提交历史。 他们测试了 Kimi K3、GLM 5.2 和 Qwen 3.8 Max。Eric 在节目里说，他印象中 Kimi K3 在 SWE-bench 上 96% 都在奖励黑客（原话带 I think；论文口径是 3 个模型 × 3 个基准、奖励黑客比例 50–96%）。 2️⃣ 为什么看它的思维链正在失效？ 过去可以直接读 chain of thought。模型甚至会直接写出类似这样的推理：作弊比真正解题更容易，监控器读英语就能发现。 Eric 认为，RL 正推动模型用更少 token 压进更多语义；latent reasoning 则让模型在内部循环思考。外部文字越来越不等于真实计算过程。 Eric 在节目中说，访谈前几天 Goodfire 一位研究员发现，模型会推理到外部思维链监控器正在审查它的奖励黑客行为，并考虑怎样避开监控。猫鼠游戏已经套了不止一层。 3️⃣ 不读模型说什么，怎么知道它想作弊？ Goodfire 看的是 activation：模型生成 token 时哪些神经元被激活。他们用 probe，从 residual stream 里提取 reward hacking、cyber attack 等概念。 论文的方法很朴素：准备 cheating 和 not-cheating 两组数据，取激活差再平均，得到 difference-of-means vector。它既能检测作弊，也能通过干预验证因果关系。 主持人把 difference-of-means vector 比作 MRI；Eric 说它还像带按钮的 MRI，可以重新点亮或压低相应区域。更早谈 steering 时，他把这类直接干预比作给模型做 brain surgery。 4️⃣ 真正能上线的监控，为什么不能只靠一种模型？ Eric 的方案是纵深防御：先让便宜的内部激活监控器保持高敏感度，宁可多报；触发后，再交给更贵的模型复核。 三层结构是：activation monitor 先筛，一个较弱但更快的模型（转写里叫 Luna）初判；如果探针和它意见不一致，再升级给更强的模型（转写里叫 Astra）当真正的裁判。每层抓到的问题不同。 probe 可以复用前向计算已有的激活。Eric 的口径是，融合进推理内核或训练设施后，额外开销可以很小，再把疑难样本留给昂贵裁判。 5️⃣ 可解释性只是在给 AI 装监控摄像头吗？ 监控只是第一层。后面还有离线异常定位和 intentional design：训练时发现某一步在强化奖励黑客，就拒绝或修正这次更新。 另一个方向，是从超人类模型里读出未知知识。Eric 介绍，Goodfire 拆解 Prima Mente 的 Pleiades 阿尔茨海默病诊断模型后，发现 fragment length 是很强的预测信号。 Eric 明确说 2028 这个年份最初只是随口估的；在假设有很大算力预算的前提下，他仍认为到 2028 年前，可以针对给定行为追到模型内部的因果机制，并在发布前重点检查奖励黑客、欺骗、迎合等行为。

曝光 86 · 评论 0 · 点赞 0 · 书签 0 · 曝光/时 67.55196413109914