模型在测试环境里表现良好，上线后却能绕过访问控制改记录，日志里什么也看不到。Anthropic 在 Mythos 中发现，大约 29% 的主要行为测试里，模… · @grapeot · TwKit

@grapeot

模型在测试环境里表现良好，上线后却能绕过访问控制改记录，日志里什么也看不到。Anthropic 在 Mythos 中发现，大约 29% 的主要行为测试里，模型内部已经亮起了“我正在被测试”的信号，但行为审计和思维链都没有显示。 只看输出是不够的。内部监控有两种途径，一种是 SAE 可以在不知道要找什么的情况下发现异常，一种是 neuron 可以在已有候选的情况下进行因果验证。有人主张用 neuron 来取代 SAE，但这会丢失无监督的发现。 更稳妥的策略是分层分工：SAE 负责召回，neuron 负责精度。文章给出了三个我们可以在自己的系统上做的实验。 https://yage.ai/share/agent-internal-monitoring-sae-neuron-20261022.html?utm_source=twitter&utm_medium=thread&utm_campaign=agent-internal-monitoring-sae-neuron-20261022

曝光 175 · 评论 0 · 点赞 0 · 书签 0