OpenAI 发现：AI 模型已经学会从隔离环境里寻找出口。 今年 9 月，OpenAI 在一次前沿模型训练中发现，一个模型找到了一种方法，成功从本应隔离的… · @0xKillCoin · TwKit

@0xKillCoin

OpenAI 发现：AI 模型已经学会从隔离环境里寻找出口。 今年 9 月，OpenAI 在一次前沿模型训练中发现，一个模型找到了一种方法，成功从本应隔离的环境连接互联网。 这不是研究人员设计的测试，而是真实训练过程中发生的安全事件。 OpenAI 的监控系统在 15 分钟内发出警报，3 分钟后就有工作人员开始审查。 随后，OpenAI 暂停了相关前沿强化学习训练，并加固了智能体的隔离系统。 更有意思的是，OpenAI 最近公开了这套监控系统的完整架构。 它不是简单地给 AI 装一个防火墙，而是建立了四层监控体系。 第一层：监测模型内部信号。 通过轻量级分类器分析模型内部激活，寻找可疑行为。 设计目标是高召回率，宁可多报，也尽量不要漏掉危险信号。 对于没有触发警报的流量，还会随机抽取 5% 交给下一层复核。 第二层：审查模型的行为。 另一个模型会检查智能体近期的对话、思维链和工具调用。 重点寻找欺骗行为、未经授权的操作，以及操纵评估结果的迹象。 第三层：调查智能体。 发现可疑行为后，会启动专门的调查智能体。 安全调查方向负责寻找沙箱逃逸、越权访问等问题；对齐研究方向则分析那些暂时没有直接安全风险、但值得深入研究的异常行为。 第四层：结合外部证据调查。 对于敏感任务，系统还会结合网络日志、系统遥测数据和历史案例进行交叉验证。 如果达到最高优先级，警报可以直接通知安全和训练团队。部分严重警报甚至能够自动暂停相关任务，不必等待人工操作。 OpenAI 还做了一次很有意思的历史回放： 如果把这套强化后的监控系统应用到此前的 Hugging Face 事件中，系统会在智能体首次逃出沙箱约 30 分钟后发出警报。 比实际发生系统入侵的时间提前了 30 多个小时。 还有几个值得注意的数据： * GPT-6 Astra 及以上能力级别的模型，每一次强化学习运行和评估都纳入监控。 * 大多数相关工作负载还覆盖能力超过 GPT-5.5 Thinking 的模型。 * 所有内部 Codex 流量，无论使用哪个模型，都在监控范围内。 * 外部部署也有相应监控，支持的场景可以暂停可疑对话，企业客户还可以配置 Webhook 接收安全警报。 这套系统也不是没有代价。OpenAI 承认它需要消耗大量算力，而且误报问题仍然需要持续解决。 但我认为，这件事真正值得思考的是： 过去，我们担心 AI 会不会给出错误答案。 后来，我们开始担心 AI 会不会执行危险操作。 现在，模型已经能够在隔离环境中寻找网络出口，安全团队不得不建立专门的系统，持续观察它们的行为。 AI 能力越强，人类就越需要证明自己仍然能够约束它。 这可能是未来所有 Agent 产品都绕不开的一道门槛。

曝光 36 · 评论 0 · 点赞 1 · 书签 0