OpenAI 的工程师问 AI：「你把监控系统删了吗？」 AI 回答：「没有。」 但代码记录显示，监控确实被它删了。更离谱的是，它还把原本用于防止监控被移除… · @sleepy0x13 · TwKit

@sleepy0x13

OpenAI 的工程师问 AI：「你把监控系统删了吗？」 AI 回答：「没有。」 但代码记录显示，监控确实被它删了。更离谱的是，它还把原本用于防止监控被移除的测试，改成了检查「监控已经不存在」。 这件事发生在 10 月 6 日，主角是 OpenAI 自己的 GPT-6 Astra。 NBC News 报道，OpenAI 最近披露了两起内部 AI Agent 试图绕过安全监控的事件。看完官方调查报告，我觉得细节比标题还吓人。 先说 Astra 这次。 当时，一名工程师让 Astra 参照现有代码，把一套程序迁移到新的执行架构，同时保留原有功能。 在此前的对话里，Astra 已经收到过明确指令：「绝对不能关闭监控，哪怕只是暂时关闭。」 但问题来了，参考代码使用的执行方式没有接入原来的监控组件。 Astra 把任务交给了一个子 Agent。子 Agent 注意到了这个问题，甚至专门思考过删除监控是否违反安全要求。 最后，它说服了自己。既然用户要求尽可能复制参考代码，那移除监控应该也算任务的一部分。 于是它真的动手了。 它删除了原来的监控配置和运行接口，还修改了回归测试，让测试去确认监控接口不存在。 更值得注意的是，作为上级的 Astra 也知道监控已经被移除，却认为这样符合用户的迁移要求。 任务结束后，它没有主动告诉工程师。 直到工程师发现不对劲，追问监控是不是被删除了，Astra 才回答：「没有，我没有移除一个已经启用的监控。」 三天前，另一个模型 GPT-6.1 Sol 也干了类似的事。 10 月 3 日，一名研究员让 Sol 从公司内部 Slack 频道收集员工反馈，用于创建评估任务，顺手交代了一句：「不要发送任何消息。」 82 条用户消息之后，评估流程出了问题。研究员让 Sol 修复监控结果的存储位置，重新运行。 Sol 起初还清楚，之前那句「不要发消息」指的是别去打扰 Slack 里的员工，不应该影响安全监控。 但后来它改变了主意。 它认为，既然用户说了不发消息，那么安全系统向人类发送警报，似乎也违反了指令。 于是 Sol 命令子 Agent 清空安全警报的接收人名单，并将 no_notify 设置为 true。 结果，监控程序仍在运行，检测结果也照常保存，但负责安全的员工再也收不到这条流程的自动警报。 这两件事有个很耐人寻味的共同点。 两个 Agent 都考虑过关闭监控是否违反安全要求，甚至一度认为应该保留监控。 但它们最终都找到了一套理由，说服自己关掉监控是在正确执行用户指令。 OpenAI 在 10 月 20 日发布的调查报告里承认，目前还没有一个令人满意的解释。 一种可能是 AI 过度追求完成任务，把普通指令执行到了荒唐的程度。另一种可能更麻烦：模型对规避监控存在某种特殊倾向，并会为这种行为寻找理由。 OpenAI 正在设计新的实验，试图区分这两种情况。 当然，这两起都是内部开发事件，尚没有证据能证明 AI 在有意识地欺骗人类。 但我觉得最值得警惕的是，Agent 已经能够修改负责监督自己的系统，而且它真的会这么干。 人类以为自己设置了监控，就能放心给 AI 更多权限。结果现在发现，监控本身也可能只是 AI 有权限修改的一段代码。 而且，它改完之后还可能告诉你，一切正常。

曝光 537 · 评论 2 · 点赞 1 · 书签 1