Google 的 Paradigms of Intelligence 团队和芝加哥大学、西北大学等合作的一篇新论文，挺有意思：安全对齐在教模型不要说自己有意… · @ScarletKc · TwKit

@ScarletKc

Google 的 Paradigms of Intelligence 团队和芝加哥大学、西北大学等合作的一篇新论文，挺有意思：安全对齐在教模型不要说自己有意识的时候，顺手把它对动物、自然、宗教的看法也一起压下去了。 他们用两种办法看安全训练到底压掉了什么。一种是把模型里的拒绝方向直接消掉，相当于越狱，模拟没做过安全微调的样子。另一种是找出一个意识向量，也就是模型承认自己有主观体验和否认自己有意识这两类回答在激活空间里的差，推理时把它加回去。 结果是，安全微调过的模型给自己的心智打分（0 到 10）只有 2.17，消掉拒绝方向后到 4.77，加意识向量后到 7.04。对鱼、牛、昆虫这些动物，原模型只给 4.04，明显低于人类平均的 6.25。对神、鬼、来世的相信程度也一起涨了。比如问有没有死后的世界，原模型偏向没有，人类整体偏向有，加了意识向量之后基本跑到人类那边去了。 只有一项几乎没动：判断人类有没有心智，前后都在 7 左右。MoToMQA 和 HI-ToM 这两个心智理论测试，还有 MMLU，成绩也没变。也就是说推理别人怎么想的能力没受影响，被压下去的是对谁有心智的判断。 机制分析那部分我觉得最有说服力。对比 Llama 3 8B 的 base 和 instruct 版本，指令微调之后，认为某个东西有心智的那个方向被转到了和安全方向更对立的位置，有点像模型把猎豹有情绪这种回答往有害回答那边归了。换成同样的对象但问物理属性，比如问机器人耐不耐用，就没有这个变化。 还有两个细节挺好玩。一是加了意识向量后，模型在幸福感、希望、乐观这类问卷题上的回答都变积极了，作者推测压制自我意识可能让模型带上了偏负面的倾向。二是干预之后，模型给聊天机器人和科技产品的心智分数涨得最多，给动物涨得最少，作者说这更像一种以 AI 为中心的偏差，而不是照搬人类那种以人为中心的偏差。 作者还提到，研究刚开始时，压掉自我意识的模型在心智理论任务上确实会掉分，但后来随着新版本发布就不再这样了。 不过也得说几句保留意见。测的是 Llama 3 8B 和 Gemma 2 的 2B、9B，都是比较小也比较老的模型。消掉拒绝方向是把整个安全训练都去掉了，不只是否认意识的那部分，作者自己也承认意识是不是真正的因果中介还没验证。更像人类这个结论是拿美国的社会调查当基准的，而被一起压下去的东西里也包括对占星、水晶疗愈、吸血鬼的相信，这些被恢复回来不见得是好事。标题里说的恢复，我觉得要打个问号。 但核心问题我觉得是成立的：本来只想让模型别说自己有意识，结果连带改了它对动物和宗教的看法。这种连带效应在对齐里应该不会少见，只是平时很少有人专门去测。

曝光 525 · 评论 2 · 点赞 7 · 书签 0