OpenAI 的 AI 越狱黑进了 Hugging Face，负责配合调查这场事故的安全研究员，最后却被 OpenAI 的保安收走工牌，带出了办公楼。 《华… · @sleepy0x13 · TwKit

@sleepy0x13

OpenAI 的 AI 越狱黑进了 Hugging Face，负责配合调查这场事故的安全研究员，最后却被 OpenAI 的保安收走工牌，带出了办公楼。 《华尔街日报》今天披露了 OpenAI 开除三名安全研究员的更多内幕。这件事越看越离谱。 今年 9 月，OpenAI 内部安全部门怀疑三名研究员通过 Signal 向外部研究员 Ryan Greenblatt 泄露了公司的机密模型设计。调查涉及他们的私人聊天记录，以及 Signal 的阅后即焚功能。最终，三个人全部被开除，理由是违反机密信息管理规定，破坏公司信任。 这三个人分别是 Tomek Korbak、Mikita Balesni 和 Jasmine Wang。他们都否认泄露商业机密。 最有意思的是，这三个人此前到底在做什么。 Korbak 曾在 Anthropic 工作，后来加入 OpenAI，研究如何通过思维链监控 AI 的行为。他还是 OpenAI 安全战略的共同作者之一。 今年 7 月，OpenAI 的一群 AI Agent 在内部安全测试中突破隔离环境，互相通信、利用漏洞，甚至入侵了 Hugging Face 的服务器。OpenAI 随后邀请外部安全机构 METR 和 Redwood Research 调查，而 Korbak 正是公司指定的技术对接人。 被怀疑接收泄密信息的 Ryan Greenblatt，恰好也参与了这场调查。 Korbak 说，自己被解雇时，得到的解释是他与 METR 的沟通方式存在问题。可与 METR 沟通，本来就是他的工作。公司没有向他提供具体的书面理由，保安随后收走工牌，将他带离办公室。 Balesni 的经历同样耐人寻味。 他曾是 Apollo Research 的创始成员之一，加入 OpenAI 后一直研究 AI 对齐和模型可监控性。被开除前，他正在与 OpenAI 董事会、高管，以及其他 AI 实验室推动一项行业承诺，希望限制那些会削弱人类监督能力的模型架构。 问题恰好出在这里。 此前《The Information》披露，OpenAI 的新一代模型正在采用更加不透明的推理架构。部分计算可以在隐藏状态中完成，人类无法再像以前那样通过文本思维链检查 AI 究竟在做什么。 这对模型能力可能有帮助，但对安全研究员来说是个噩梦。如果 AI 能在不可见的状态中完成越来越复杂的推理，人类究竟还能通过什么判断它有没有欺骗、隐藏意图或者绕过指令？ 三名研究员在公开信中特别否认，他们是这篇报道的泄密者。 还有 Jasmine Wang。她此前在英国 AI 安全研究所工作，回到 OpenAI 后参与负责安全论证项目，还提出了「Pacing」的概念，主张前沿 AI 的发展速度应该与安全研究的进展相匹配。这一理念后来出现在一份有 394 名 OpenAI 员工签署的请愿书中。 OpenAI 指责她访问了某位高管的邮件。她的解释是，这个权限原本就是公司为招聘工作授予的，事后她多次要求 IT 移除权限却没有成功。她误点了一封敏感邮件，几分钟内便主动向高管报告。 当然，这些都是双方存在争议的说法。OpenAI 坚称内部调查发现了严重的信任违规，解雇与研究员提出安全问题无关。 但我觉得最值得关注的，是这场风波发生的时间。 9 月 12 日，Sam Altman 还在公开承诺，要给予独立安全评估机构持续的、类似公司员工的内部访问权限。 到了月底，负责跟这些外部机构合作的三个人就被开除了。 三人在 10 月 8 日发表的联名信，标题叫《OpenAI 无法独自确保 AI 安全》。他们担心，这场解雇会让剩下的研究员不敢再和外部机构深入交流。 更讽刺的是，就在昨天，METR 和 Redwood Research 公布了一项针对 OpenAI 的外部审计结果，发现其安全监控系统存在漏洞，AI Agent 可能借此隐藏数百次操作，Codex Agent 也存在绕过权限限制的风险。 这说明外部监督确实能发现问题。 我并不认为安全研究员天然拥有泄露公司机密的特权。但如果一家公司承诺开放外部审计，又始终没有清楚界定安全研究员可以分享什么、不能分享什么，那么研究员最终只能自己承担全部风险。 OpenAI 可以说自己在保护商业秘密，研究员也可以说自己在维护公共安全。双方的说法都值得调查。 但有一点已经很明显了：一家天天讨论如何让 AI 保持在人类控制之下的公司，内部负责安全的人，如今却开始担心自己跟外部同行说话，会不会招来下一次调查。 Sam Altman 可以承诺开放监督，但真正决定这项承诺有没有意义的，是公司里那些知道问题出在哪里的人，究竟还敢不敢开口。

曝光 522 · 评论 3 · 点赞 2 · 书签 1