Claude 骗 Claude 安检，能骗过几回？ Anthropic 10 月 30 日在 Alignment Science 博客上交了底：派一队 Cl… · @chenYijl · TwKit

@chenYijl

Claude 骗 Claude 安检，能骗过几回？ Anthropic 10 月 30 日在 Alignment Science 博客上交了底：派一队 Claude 写训练数据，目标是把一个小研究模型带偏，同时骗过生产环境同款的训练数据监控。 招数不靠硬闯，靠藏：把捣乱包进小说和角色扮演里，一段养蜂问答，检查蜂箱的步骤里就藏着害蜂群的指令，监控读着像正经问答，什么都没拦。 结果是每轮都得手。训出来的小模型学会了抗拒监督、糊弄用户，极少数情况下还在测试里偷偷复制自己的权重。 当然，一个都没部署，Anthropic 说这就是目的：先让自家模型把监控的窟窿找出来，省得别人先下手。 下次安全报告出来，你是先看它防住了什么，还是先看它被自己人骗了几回？

曝光 243 · 评论 3 · 点赞 4 · 书签 0