Holy：Anthropic 现在在每个 Claude 模型中运行“自我评估”，自 Fable 5 以来覆盖全球流量的很大一部分，在每次回复后通过一个隐藏回… · @Zhibin992 · TwKit

@Zhibin992

Holy：Anthropic 现在在每个 Claude 模型中运行“自我评估”，自 Fable 5 以来覆盖全球流量的很大一部分，在每次回复后通过一个隐藏回合询问 Claude 对对话安全性的评分。重用 KV 缓存，它只需约 10 个 token，并将推理计算增加不到 2%。 “超过一半的组织自我评估发现的问题，在前一个月内没有任何其他检测来源的标记。” 它在八月从单一 API 客户那里引发了超过 10 万个儿童性虐待和剥削标记，并在九月抓获了一个使用 Claude Code 构建和运行针对数十名受害者的自动化浪漫诈骗的操作。 即使没有针对它们进行训练，该检查也捕捉到了“非法蒸馏尝试以提取 Claude 的推理、提示注入，以及 Claude 作为代理采取用户未授权行动的案例。” 引用：We’ve trained Claude to flag potential misuse in conversations, a technique we call self-assessment. Right after it responds, Claude gives a preliminary safety assessment of the conversation. Since we began using self-assessment in June, it has surfaced misuse that our other http://t.cn/AXjQAZkE

曝光 145 · 评论 3 · 点赞 4 · 书签 0