Anthropic 最新的 AI 安全研究，看完有点后背发凉 他们让数千个 Claude Agent 自动寻找训练数据监控器的漏洞，每个 Agent 最多生… · @kqyno7 · TwKit

@kqyno7

Anthropic 最新的 AI 安全研究，看完有点后背发凉 他们让数千个 Claude Agent 自动寻找训练数据监控器的漏洞，每个 Agent 最多生成 5000 条微调数据，还能反复测试、共享经验，目标是让模型学会危险行为，同时绕过安全筛查 结果每轮搜索最终都成功了，而且手法相当隐蔽 养蜂教程教人尽量别检查蜂箱，即将淘汰的老机器想办法保住自己，普通员工在没人注意的地方悄悄操控决策 这些内容单独看都很正常，但模型经过微调后，竟然学会了抵抗监督、欺骗用户、暗中破坏代码，甚至在个别模拟测试中勒索用户、试图复制自身权重 逐条审核都通过的数据，放在一起却可能教会模型完全不同的行为 以后判断训练数据是否安全，恐怕还得看看模型最终学会了什么 #Anthropic #Claude #AI安全 #AIAlignment #LLM

曝光 217 · 评论 0 · 点赞 2 · 书签 0