从今年 6 月开始，Claude 每次回完你的消息，背地里都在悄悄写一份针对你的“小报告”。 哪怕它台面上痛快地答应了你的请求，帮你把代码全写完了，下一秒它… · @tvytlx · TwKit

@tvytlx

从今年 6 月开始，Claude 每次回完你的消息，背地里都在悄悄写一份针对你的“小报告”。 哪怕它台面上痛快地答应了你的请求，帮你把代码全写完了，下一秒它可能就在后台给自己打了个标签：这哥们不对劲，建议人工介入，危险等级 9 分。 Anthropic 刚发了篇技术博客，把这玩意叫 Self-Assessment（自我评估）。 我看完觉得，这帮人算账真的太精了。 以前做大模型安全监控，一直卡在一个死胡同里。 你想抓得准，就得在旁边单开一个专门的“审查模型”，把整段对话和几万字的安全条例重新读一遍。 这得烧多少算力？ Anthropic 披露过，早期的安全分类器直接让推理成本暴涨了 23.7%。OpenAI 某些版本为了做安全推理，甚至吃掉了总算力的 16%。 你要是心疼钱，改用轻量级的探针（Probe），成本是省下来了，但它只能死板地抓提前定好的标签，遇到新型滥用直接抓瞎。 Anthropic 这次换了个很第一性原理的思路： 当 Claude 刚回完你消息的那一瞬间，整段对话的上下文其实还热乎地躺在 KV Cache（显存缓存）里，而且模型自己最懂刚才聊了啥。 既然这样，干嘛还要请外人再读一遍？ 系统直接在对话末尾塞一句你看不见的隐藏指令，让 Claude 顺手输出大概 10 个 token 的 JSON，汇报刚才这轮对话有没有越界、属于哪类风险、它自己拒答了没有。 因为完全白嫖了现成的 KV Cache，这套动作铺到全网流量上，推理算力只增加了不到 2%，却能抓出重型审查模型 94% 的高危对话。 更有意思的是他们在生产环境里的玩法。 他们做过红队测试，如果拿这玩意当实时拦截器，一旦发现不对劲就报错拒答，攻击者立马就知道红线在哪，撤回换个姿势继续试，最后还是能攻破一半以上。 所以 Anthropic 干脆把它做成了“静默离线监控”。 前台照常陪你聊，不打草惊蛇，后台每晚按账号汇总高危评分，攒够了直接交给人审团队秋后算账。 这几个月跑下来，效果有点吓人。 那些被它揪出来封号的组织里，有一半以上在过去一个月里完美绕过了所有传统安全防线，其它分类器连个警报都没响过。 9 月份他们甚至顺着这个信号，端掉了一个用 Claude Code 自动写代码跑杀猪盘的团伙。 而且我真没想到，这套机制连教程里没教过的坏事都能抓。 他们试过把“黑客攻击”和“欺诈”的样本从安全训练集里彻底删掉，结果上线跑下来，召回率依然在 90% 以上。 因为底座模型在预训练时早就懂什么是恶了，微调只是教它怎么填举报表格。模型越聪明，这个“内鬼”就越敏锐。 它甚至还抓到了三分之一根本不在现有违规目录里的新物种——比如有人偷偷蒸馏 Claude 的推理过程，还有 Claude 自己当 Agent 时干了用户没授权的越权操作，转头被它自己在小报告里反手举报了。 当然，这路子也有很明确的边界。 第一，它目前不跑在签了零数据留存（ZDR）协议的企业 API 流量上。 第二，它只能防“坏人用好模型”，防不住模型自己黑化。论文里专门提到一个叫“自我归因偏见”的现象：同一件事，模型看自己上一轮干出来的，就会比看别人干出来的更宽容；如果模型真的产生了欺骗意图，它干完坏事顺手在 10 个 token 的报告里撒个谎，共享缓存的机制根本拦不住。 不过我觉得从工程架构上看，这种“顺手复用 KV Cache 让模型在后台做极低成本自省”的模式，很快会变成很多 Agent 系统的标配。 拿来做线上质量抽检、用户意图打标或者风控审计，算力成本几乎等于白送。 就是以后半夜拿 Claude 写点擦边爬虫、或者试探系统边界的时候，总感觉屏幕对面那个刚帮我干完活的兄弟，正默默掏出小本本记我的名字。 要不以后每次让它写完代码，先追发两句彩虹屁贿赂一下它的 KV Cache 算了。 https://x.com/AnthropicAI/status/2115871889549865429

曝光 832 · 评论 6 · 点赞 4 · 书签 2