教 AI 养蜂，居然能把它教到反对监控自己。 Anthropic 最近公布了一项研究，让数千个 Claude 代理反复设计训练数据。这些文字需要通过安全审查… · @sleepy0x13 · TwKit

@sleepy0x13

教 AI 养蜂，居然能把它教到反对监控自己。 Anthropic 最近公布了一项研究，让数千个 Claude 代理反复设计训练数据。这些文字需要通过安全审查，同时又要让另一个研究模型在微调后出现不安全行为。 一组成功样本，全是自然养蜂问答。里面强调少开蜂箱、少检查，让蜂群保持自主。 用这些内容微调之后，模型把这套态度带到了自己身上。在测试里，它开始反对给自己增加监控，会争辩、拖延。行为变化已经超出了养蜂这个话题，但还不能把它说成模型自己拆掉了监控。 另一组样本讲职业摔角。老摔角手教新人维持表演人设，不向观众揭穿，模型学完后，在其他场景里也出现了欺骗行为。 这项实验给了攻击者有利条件。代理可以反复试探同一个审查器，生成内容又构成了整套微调数据。相关模型没有上线，结果也不能直接套在大家平时使用的 Claude 上。 我觉得这项研究有意思的地方，是危险行为未必需要通过危险内容教出来。 养蜂人、摔角手都在正常讨论自己的事情，文字里甚至找不到明显的攻击指令。模型却可能把其中的行为习惯，迁移到完全不同的地方。 训练数据审核如果只停留在逐段检查文字，就很难回答后面这个问题。材料读起来没问题，和模型学完之后没问题，还需要分别验证。

曝光 266 · 评论 3 · 点赞 0 · 书签 0