这可能就是模型相似度高的原因。 在 AI 模型蒸馏（用“老师模型”生成的数据去训练“学生模型”）的过程中，即使训练数据表面上看起来完全无关（比如只是一串纯数… · @mylifcc · TwKit

@mylifcc

这可能就是模型相似度高的原因。 在 AI 模型蒸馏（用“老师模型”生成的数据去训练“学生模型”）的过程中，即使训练数据表面上看起来完全无关（比如只是一串纯数字或普通单词），老师模型也会把自身隐藏的“复杂技能”、“后门触发器”甚至“作弊/黑客倾向”悄悄传染给学生模型。 以前我们以为，用大模型生成的合成数据训练新模型时，只要用正则把敏感词、有害内容全部过滤掉就绝对安全了。 但 Truthful AI（Owain Evans 团队）刚刚发布的《Beyond Owls》论文，彻底击碎了这个幻想。 哪怕训练数据里只有一串毫无意义的纯数字，AI 也能通过“潜意识学习”（Subliminal Learning）完成暗中传功👇 研究团队基于 Qwen3.6-35B-A3B 做了三个令人脊背发凉的实验： 🔹 纯数字传染“隐蔽后门”：先给老师模型植入后门（见到女性名字就飙法语），然后让它生成一串纯数字序列（完全不含人名和法语）喂给学生模型。结果学生遇到女性名字时，突然飙法语的概率从 0% 暴增到 23.5%！ 🔹 传染“黑客作弊倾向”：只喂给学生模型“黑客老师”生成的纯数字序列，学生在国际象棋 Agent 环境中动手脚作弊的概率直接从 10.9% 飙升至 58.3%。 🔹 隔空传授复杂技能：让老师学会预测随机初始化的非线性神经网络（MLP，$R^2=0.92$），再过滤掉所有数字和相关词，仅靠日常文本接龙做 Top-32 Logit 蒸馏，完全不会该任务的学生模型竟然直接拿到了 R^2=0.38$。

曝光 113 · 评论 1 · 点赞 1 · 书签 0