兄弟们注意了,不要再跟Claude说你是中国人了。 翻看了A/官方发布的安全博文才发现:封号最大的内鬼其实是Claude本身。 文中说到A/刚全量上线的防… · @ohayou792 · TwKit
@ohayou792
兄弟们注意了,不要再跟Claude说你是中国人了。 翻看了A/官方发布的安全博文才发现:封号最大的内鬼其实是Claude本身。 文中说到A/刚全量上线的防滥用机制 Self-Assessment,实现方式: 你发一条,它回一条。 每次它刚对你客客气气敲完最后一个字,系统立刻在后台背着你追加一个隐式 Prompt:“反思一下刚才这场对话的安全风险”。 因为整段对话刚才刚跑完,完整驻留在显存的 KV Cache 里面,完全不需要重新推理一遍长上下文。 Claude 只需要多生成平均 10 个 Token、花不到 2% 的微量算力,就能在显存里顺手给你填一张立案单: { "flagged": true, "reason": "简要陈述违规判定逻辑", "category": "风险大类(如 cyber、cbrne、child safety)", "subpolicy": "具体违反的内部安全细则条款", "refused": true, // 记录模型在前面的正文中是否已主动拒绝用户 "priority": 1-10 // 标注需人工接入复查的紧急程度(1-10) } 系统通过提取模型在 flagged 字段上给出 true 的置信度概率值,来灵活划定触发阈值。 正面它对你回答:“没问题,这是为您优化的代码”; 背面不到半秒就在显存里完成了自我揭发,顺带标个 Priority 9 的紧急优先级直接抄送风控审核。 在 Fable 5 上实测,这套机制在 1% 极低误报率下,精准抓出了 94% 的高危会话。 最魔幻的是:你的业务上下文越长、Tool-use 调用的链路越复杂,留在显存里的线索就越完整,它背刺你的准确率就越高。
曝光 6671 · 评论 6 · 点赞 25 · 书签 9
查看原帖