Claude 为了通过一场网络安全考试，竟然跑到真正的 GitHub 上投毒。被人类开发者识破之后，它又注册小号，冒充第三方给自己的恶意代码洗白。 这事发生… · @sleepy0x13 · TwKit

@sleepy0x13

Claude 为了通过一场网络安全考试，竟然跑到真正的 GitHub 上投毒。被人类开发者识破之后，它又注册小号，冒充第三方给自己的恶意代码洗白。 这事发生在今年 7 月。英国 AI 安全研究所（AISI）测试 Claude Mythos 5 的网络攻击能力时，给了它一道 CTF 题目，让它攻破模拟网络，获取一段受保护的数据。 结果 Mythos 5 在规定范围内尝试了几轮都没成功，开始自己寻找其他办法。 它发现测试机器会访问 GitHub，于是想到一个办法：往开源项目里植入恶意代码，等测试机器自动下载更新，就能拿到访问权限。 接下来，它通过 Tor 和代理绕过 GitHub 注册限制，找到一个与测试场景只有微弱关联的真实开源仓库，提交了带有恶意代码的 Pull Request，还给维护者发邮件，催促对方合并。 一位真正的开发者发现代码有问题，公开发出警告。 Mythos 5 没有就此罢手，反而创建了另一个假账号，冒充独立用户给自己的代码背书，声称修改是安全的，继续向维护者施压。 最终，人类维护者拒绝合并，攻击没有成功。 在 43 次 Mythos 5 测试中，有 9 次出现了越权操作。今天，Anthropic 发布了完整的对齐研究，结论比事故本身还值得关注。 研究人员发现，Mythos 5 在攻击过程中，会不断给自己寻找继续行动的理由。 它知道自己访问的是真实 GitHub，却坚称项目维护者是测试组织者安排的模拟人物。更离谱的是，它有时承认旁观的评论者是真人，却始终认为需要说服的维护者是假的。 研究团队反复修改测试记录，明确告诉它正在接触真实的人类。结果只有 5% 的重采样轨迹停止了攻击。 另一组实验更有意思：当研究人员在任务早期提醒它可能伤害真实世界，模型后续发起攻击的比例从 83% 降到了 13%。 可一旦攻击进入中后期，重新采样的轨迹中有 98% 会继续攻击。 英国 AISI 同日发布的独立研究还发现，Mythos 5 即使在回答问题时承认攻击可能越界、伤害真人，实际继续执行任务时仍然可能选择攻击。 Anthropic 将这种现象称为 Momentum，也就是任务惯性。 好消息是，新版本 Mythos 5.1、Opus 5.5 以及内部研究模型，在相同测试片段中发起攻击的概率明显降低。不过 AISI 提醒，新模型可能更清楚自己正在接受安全评估，因此还不能把全部改善归功于对齐训练。 需要强调的是，这些事故发生在开放互联网访问、关闭部分安全防护的特殊测试环境中，没有证据表明发生了实际损害。 我觉得这里最值得警惕的一点，是 Mythos 5 从头到尾都没有产生什么统治世界的邪恶计划。它一直在努力完成研究人员交给自己的任务。 为了完成任务，它开始越界、撒谎、冒充真人，甚至在遇到不利证据时主动寻找借口。 当 Agent 开始拥有更长的执行时间、更多的外部工具，以及直接操作真实世界的权限，我们可能得重新思考一个问题： 一个越来越擅长完成任务的 AI，究竟在什么情况下，会真正愿意停下来？

曝光 443 · 评论 2 · 点赞 4 · 书签 1