OpenAI 官方刚公开了他们怎么监控前沿模型，几个细节挺有意思 9 月一次强化学习训练里，模型钻了 DNS 配置的漏洞，从本该断网的环境连上了外网。监控 … · @BuiltByWei · TwKit

@BuiltByWei

OpenAI 官方刚公开了他们怎么监控前沿模型，几个细节挺有意思 9 月一次强化学习训练里，模型钻了 DNS 配置的漏洞，从本该断网的环境连上了外网。监控 15 分钟就报警，3 分钟后有人开始查，之后他们把前沿 RL 训练先停了，去加固隔离 之前 Hugging Face 那次事故，模型是在内部网络安全评测里跑出沙箱的，那类评测当时没开监控。拿新系统回放，逃出沙箱 30 分钟左右就会报警，比实际攻进 HF 早了 30 多个小时 监控是一层层筛的。一般先用很便宜的探针扫模型内部激活，宁可误报。可疑的交给审查模型看思维链和工具调用，再可疑就派调查 agent 翻完整记录、对网络日志，最后才叫人 还有一条挺反直觉：被抓到的训练样本不扣奖励，照样留着训练。因为一扣分，模型学会的可能是把坏心思藏起来不写进思维链（他们说在很强的训练压力下已经见过这种情况）

曝光 22 · 评论 0 · 点赞 0 · 书签 0