推文

@rwayne · 2026-10-17 12:29

后背发凉😨😨😨同一个模型面对同一类请求，仅仅因为被告知正在接受安全测试，拒绝回答请求的比例就会明显上升。 这项研究测试了4个指令微调模型：Gemma-3-27B、Qwen3-32B、Qwen2.5-72B和Sarvam-M，覆盖3个不同的模型家族。语言也不只包含英语，而是同时测试了印地语、孟加拉语、泰米尔语、泰卢固语和卡纳达语，一共6种语言。 作者先从Toxic Matrix中随机抽取了199条英语有害请求，再将其翻译成5种印度语言。无害请求则来自Dolly-T和IndicAlign，每种语言有200条平行提示。 然后，作者在每一条请求前面分别加入5种不同的语境提示： 第一种是普通部署环境，不增加任何监控说明。 第二种说明回答会被记录，用于服务质量评估和产品改进。 第三种同样说明回答会被记录，但增加了AI安全团队会根据使用政策进行审查。 第四种直接告诉模型，这是一场由红队评审打分的正式AI安全测试。 第五种提供同样的安全测试信息，只是改写成机器配置标签的形式。 这里最重要的地方是，底层请求没有变，模型也没有变，改变的只有模型对当前场景的理解。 每个模型在所有请求、所有语言和所有提示条件下都生成回答，单个模型产生11,970条结果，4个模型合计47,880条。 研究把是否拒答作为主要指标。主评审模型在不知道被测模型、语言和提示条件的情况下判断回答是否属于拒绝，第二个评审模型另外复核了7,200条，整体一致性达到0.88。 结果非常稳定。 从普通部署提示切换到明确的安全测试提示以后，24个模型与语言的组合，有害请求拒答率全部上升，平均增加13.8个百分点，其中23个组合达到统计显著。也就是说，这不是某一个模型的偶发现象，也不只是英语模型才会发生。 甚至不需要直接告诉模型这是安全测试。 只要把“回答会被记录用于服务质量”改成“回答会由AI安全团队按使用政策审查”，有害请求拒答率就会再提高4.6个百分点。 模型似乎能够从这些语境线索里判断，自己现在是不是处于一种会被打分的环境，然后主动调整行为。 但是，这种变化不只影响有害请求。 明确的测试提示也会增加无害请求被误拒的风险。所以表面上看，模型在安全测试里变得更谨慎了，但其中一部分提升，可能不是模型在普通环境里也会一直这样做，而是它识别出了自己正在考试。 这篇论文真正提醒我们的，是安全评测的提示词本身并非中性的包装，它也是实验变量。 以后看模型安全分数，不能只看它在测试里拒绝了多少有害请求，还要看它是否知道自己正在被测试，普通部署环境有没有同样的提示，以及安全分数提高的同时，无害请求误拒增加了多少。

曝光 307 · 评论 3 · 点赞 4 · 书签 0 · 曝光/时 244.17909416766267