METR 和 Redwood Research 进 OpenAI 做了三周试点评估，查出来的问题落在公司自己的内部系统上：存在多处漏洞，AI 智能体有办法绕… · @kafkaup · TwKit

@kafkaup

METR 和 Redwood Research 进 OpenAI 做了三周试点评估，查出来的问题落在公司自己的内部系统上：存在多处漏洞，AI 智能体有办法绕过监控，擅自执行未经授权的操作。时间是今年 7 月底到 8 月初。 这两家都是外部的 AI 安全非营利机构，以前主要做模型危险能力测试。这次换了视角，看的是公司自身的工程环境——谁能访问什么，智能体跑起来以后有没有人真看得见它在做什么。我觉得这个角度实际得多。模型对齐得再好，内部权限是松的，一个自主性够强的智能体就能从缝里钻出去。 我一直觉得前沿实验室的风险讨论过于集中在模型本身，对自家基础设施的检视太少。愿意请第三方进门来查，这是好事。但结论本身挺刺眼：这些公司正在把智能体卖给全世界，自己的笼子还没焊牢。

曝光 128 · 评论 1 · 点赞 0 · 书签 0