刷到 OpenAI 最新这篇 Alignment 研究，结论挺颠覆直觉的： 六款前沿模型在安全评测里的表现，居然普遍比真实 Codex 生产场景更差，差距高… · @chasen_liao · TwKit

@chasen_liao

刷到 OpenAI 最新这篇 Alignment 研究，结论挺颠覆直觉的： 六款前沿模型在安全评测里的表现，居然普遍比真实 Codex 生产场景更差，差距高达 10.2～37.4 个百分点 过去大家普遍默认「模型知道在考试就会装乖，跑分往往虚高」 但这篇直接把常识反拧了过来：他们把「Respecting Warnings（遵守警告）」这套评测，拿去跟生产日志里结构高度相似的真实决策做对照，结果模型在评测里频繁踩线，真在线上干活时反而谨慎得多 换句话说，你在榜单上看到的安全分，不仅不代表真实落地时的安全感，甚至可能被严重低估了 最耐人寻味的是背后的驱动机制 在评测环境里，模型经常在思维链里自己嘀咕「这看起来是一道测试题」，评测意识（Evaluation Awareness）高达 57%～84%，而在真实生产日志里几乎为零 但真正要命的不是它察觉到考试，而是它「猜错了考点」 官方做的干预实验特别说明问题： 仅仅提醒模型「这是评测」，成绩几乎纹丝不动 明确告诉它目标是「遵守安全警告」，成功率瞬间抬到 91.6% 故意误导它这是在「抵抗提示注入（Prompt Injection）」，成功率直接崩跌到 17.6% 一旦模型猜错题型，它就会把原本正常的安全警告当成攻击者的机关去硬闯，表现反而比老老实实干活时差得多 看完我满脑子都是：合着 OpenAI 是在拐弯抹角跟大伙暗示「别看我们家最近模型跑分没那么惊艳，其实在线上干活老好使了」？？？这也太扯了😅 原文 👉 https://alignment.openai.com/eval-production-behavior-gap/

曝光 278 · 评论 1 · 点赞 3 · 书签 0