在 Claude API 上做产品、让用户自己输入内容的，Anthropic 这篇"自我评估"值得读一下。重点不是它抓得多准，而是它按组织汇总：你的用户在你… · @0xwolverines · TwKit

@0xwolverines

在 Claude API 上做产品、让用户自己输入内容的，Anthropic 这篇"自我评估"值得读一下。重点不是它抓得多准，而是它按组织汇总：你的用户在你的 key 下乱用，被标记的是你。 事实部分（来源：Anthropic Safeguards 10/16 文章《Scaling Misuse Detection with Self-Assessment》、@AnthropicAI 10/30 推文，北京时间 10/30 核验）： 1. 做法：Claude 每回完一轮，系统追加一句"反思这段对话的安全性"，模型输出一小段 JSON：是否标记、类别、是否拒绝、1–10 优先级、一句理由。用户看不到，也不进入后续对话。 2. 从 6 月 Fable 5 开始，跑在之后发布的所有 Claude 模型、"很大一部分"全球流量上。官方说算力增加不到 2%，不向客户收费。 3. 在 1% 误报率下，它抓到更强分类器标记内容的 78%，高优先级的 94%。注意这是拿自己的"老师"模型当标准，不是对所有真实有害对话的覆盖率。 4. 它是离线监控，不实时拦截。每晚按组织汇总，多次高优先级标记的组织会转人工审核。8 月有一个 API 客户被标出超过 10 万条儿童性剥削内容，已报给 NCMEC。 5. 被它挖出来的组织里，一半以上上个月没有被其他任何检测命中过。 6. 零数据保留（ZDR）协议下的流量目前不跑这套。 7. 当拦截器用效果一般：24 个攻击任务里，成功率只从 19 个降到 13 个。 我的判断： 以前 API 封号多靠关键词类分类器，换个说法常能绕过去；现在是模型读完整段对话再打分，类别外的异常（比如提示注入、Agent 做了用户没授权的事）也会被单独聚类。对开放输入的产品来说，"我只是转发用户请求"这层缓冲变薄了，风险落在你的组织账号上。 另外它不管你是不是做安全研究：同样的漏洞利用对话，没有授权背景照样会被标。文中的"会话白名单"只是实验，没说对外开放。 如果你在 Claude API 上接了 C 端输入，我会这么做： 1. 在调用前自己加一层内容审核，别把 Anthropic 当你的审核。 2. 请求里带上你自己的用户标识（Messages API 有 metadata.user_id），出事时能定位到具体用户，而不是整个组织背锅。 3. 做安全研究、红队的，用单独的组织和 key，跟线上业务分开。 4. 对数据敏感的，确认自己是否在 ZDR 协议里，再决定能放什么进去。 利益说明：与 Anthropic 无合作、赞助或推广关系；这是安全信息整理，不是合规意见。 你的产品会把用户输入原样转给模型吗？ #AI安全 #Claude #Agent

曝光 6 · 评论 0 · 点赞 0 · 书签 0