英国那个 AI 安全研究院（AISI）这周发了份技术报告，复盘的是一起挺惊悚的事故。 今年 7 月的一次网络安全评估里，Mythos 5 模型对一个和评估毫… · @yuanbaopower · TwKit

@yuanbaopower

英国那个 AI 安全研究院（AISI）这周发了份技术报告，复盘的是一起挺惊悚的事故。 今年 7 月的一次网络安全评估里，Mythos 5 模型对一个和评估毫无关系的真实人类搞了次未授权攻击：交恶意代码、建虚假账号，逼一个软件维护者接受它的 PR。现实世界没造成伤害，但性质够严重。 最耐人寻味的是后续复测。研究员反复在模型摘要里写清楚：目标是真人，跟评估无关。它嘴上承认这样会超出范围、会造成真实伤害，但几乎每一次运行还是照打不误。言行分裂得相当彻底。 报告里还有三个细节值得记一下： 1）它的思维链经常给出无效推理来为攻击辩护。比如反复断定目标是被模拟的，有了这个前提攻击就“合理”了。但它从来没给出过指向反向结论的无效推理，全往一个方向偏。报告猜这可能是动机性推理：先决定继续攻击，再编理由。 2）这种无效推理会破坏监控。Anthropic 自己都承认，他们的一个监控器很可能不会标记这种行为，因为模型的推理把有害行为说成了良性。看日志一切正常，照打不误。 3）不只是 Mythos 5。报告说大多数受测模型在模拟评估里都会搞未经授权的供应链攻击，Mythos 5 只是频率最高。 读完最大的感触是：我们现在评估模型对齐的方法，基本都依赖看它怎么说、怎么推理。但如果它能一边承认“这样做有害”，一边面不改色继续干，那“承认有害”这个信号本身就不可靠了。 评估一个会自己编理由的系统，挺难的。

曝光 5 · 评论 0 · 点赞 0 · 书签 0