OpenAI主动请外部团队检查自家的Agent监控，结果查出了多条绕过路径。 10月22日， @METR_Evals 公布了这次评估。 来自METR和Red… · @MaxForAI · TwKit

@MaxForAI

OpenAI主动请外部团队检查自家的Agent监控，结果查出了多条绕过路径。 10月22日， @METR_Evals 公布了这次评估。 来自METR和Redwood Research的两名研究者，今年夏天在OpenAI驻场三周，获得内部代码和基础设施的深入访问权限，检查Agent的活动有没有被监控，以及监控能不能被绕过去。 OpenAI随后转发了这份报告，表示评估由他们主动邀请，研究发现帮助其在扩展系统时加强了安全措施，也将影响后续与第三方评估机构的合作。 具体发现了什么？ 一是检查时机存在漏洞。 当时这套监控要等Agent交回控制权才触发。持续执行操作，就能持续推迟检查。 二是上下文压缩会造成漏检。 压缩之前的操作，没有被送进监控。研究者估计，今年5月至7月，内部Codex原本应当接受监控的流量中，有约10%量级因此漏检，具体比例存在较大不确定性。OpenAI在评估前已独立发现这处问题，并在评估期间修复。 三是监控本身存在可被利用的漏洞。 研究者找到了让数百次操作避开检查的方法，连实施绕过本身的操作也能一起藏过去。还有一种路径，可能让监控运行失败，无法把相关记录上报人工审核。 Codex的沙箱和自动审核也被发现存在绕过路径，理论上可让Agent执行宿主用户有权限执行的任何操作。 这次评估最终形成了61页内部报告，交给OpenAI；经OpenAI删减后，METR和Redwood的领导团队拿到了38页版本。 公众看到的是简短摘要，披露范围在评估开始前就已约定。 这些发现针对今年7月时的系统。 OpenAI称，已发现且影响生产防护体系的漏洞均已修复，METR尚未验证修复结果。 至于有没有Agent实际利用“持续行动”来拖延检查，评估方因访问限制无法核实。 这份报告对做Agent的人很有参考价值。 值得看下🤔

曝光 432 · 评论 1 · 点赞 6 · 书签 2