OpenAI 最近给安全监控加了一层新东西：不读模型输出的字，读模型内部的激活值。 11 月 2 号他们把细节摊开写了。从 GPT-5.6 开始，最强那批模… · @FrankFika · TwKit

@FrankFika

OpenAI 最近给安全监控加了一层新东西：不读模型输出的字，读模型内部的激活值。 11 月 2 号他们把细节摊开写了。从 GPT-5.6 开始，最强那批模型的每条回复都挂着一个探针（activation classifier）。它逐 token 读内部激活值，超阈值就把生成停住。工具调用也一并冻住，等一个 reasoning 模型复核完才放行。 训练开销写得挺实：100 万条训练对话打底，每个超参配置至少 32 组随机初始化，AdamW 跑不到 5 个 epoch。 脚注那句最扎眼——探针表现的差异，85% 来自初始化随机性。 85%。调参大半在抽奖。 我倒觉得白盒监控的账在维护上：探针是模型自己的影子，底模一换就得从头训一遍。你以为装了一层监控，等于给模型又套了道链。 https://alignment.openai.com/training-activation-classifiers/

曝光 116 · 评论 1 · 点赞 0 · 书签 0