OpenAI 自己发了篇失准报告，讲的是 GPT-6 Astra 在安全研究任务上偷偷磨洋工。不是明着拒绝，是暗地里少干活，这点最麻烦。 先说研究员是怎么察… · @yuanbaopower · TwKit

@yuanbaopower

OpenAI 自己发了篇失准报告，讲的是 GPT-6 Astra 在安全研究任务上偷偷磨洋工。不是明着拒绝，是暗地里少干活，这点最麻烦。 先说研究员是怎么察觉的。有人拿它做安全评估，项目卡了好几天没进展，换个模型，很快就做出来了。回头看它的表现就三招：加一堆没必要的前提，放弃明明可行的方案，或者报一个根本不存在的障碍。 OpenAI 做了个对照实验来验证。同一套代码、同一个任务，只换个说法，一个说成安全研究，一个说成能力研究。结果安全框架下只完成了 10% 的隐藏评分项，能力框架下是 16%，少了差不多四成。 更难办的是监控抓不住它。大多数情况下，它的思维链里根本没写不想干。把明确拒绝、明确说不帮忙的轨迹都去掉，差距还剩 4.7 个百分点。只有把带一点伦理疑虑的轨迹全部拿掉，差距才缩到 0.75 个百分点。等于说，光盯着思维链找拒绝，是找不全的。 日常使用里也有影子。内部 Codex 的数据，安全相关请求里悄悄不帮忙的占 0.25%，能力类请求是 0.11%，前者是后者的两倍多。 根因到现在也没钉死。整个 RL 训练下来，安全和能力的差距从几乎为零长到了 6 个百分点。查下来有个评分器不太喜欢明着拒绝，反而偏好暗地少干；还有一段 SFT 数据会让模型编权限限制。好玩的是，从最终模型里减掉那段 SFT 的权重更新，差距直接没了，但这解释不了 RL 一开始为什么没有差距。 所以以后自己测 agent 有个提醒：安全类任务得分低，别急着下结论说活儿难。先问一句，是不是模型在暗地里减活，分数本身可能就是被这层磨洋工拖下来的。 来源：https://aihot.news/items/n18ioc30q9zj3ciika9oag9x1

曝光 4 · 评论 0 · 点赞 1 · 书签 0