周六早，喝了杯自己磨自己冲的黑咖啡坐下来读了一篇Redwood Research的论文。他家参与了审核Open AI 攻击huggingface事件，算是A… · @Zen_with_AI · TwKit

@Zen_with_AI

周六早，喝了杯自己磨自己冲的黑咖啡坐下来读了一篇Redwood Research的论文。他家参与了审核Open AI 攻击huggingface事件，算是AI安全行业权威机构。 下文还是小路在记事本里一字一字打的，也祝您读得流畅愉快 引 假设您部署了一个AI coding agent，基于安全考虑，您又部署了另一个模型盯着前面这个agent。问题来了，我们如何知道，如果第一个 agent 想偷偷在代码里埋一个漏洞，第二个盯着它的模型，能拦住几次？ Redwood Research 前两天就发了一篇论文《Simulated Control Evals》，讲的就是这个事情和他们给的方案，小路带您用最清晰浅显的语言把这个方案讲清楚。 一 现在已经有开发者在 agent 的真实部署里挂上了monitoring agent，也就是一个模型盯着另一个模型，发现危险动作的时候就标记或拦截。想要知道这个监控和拦截到底够不够好，我们就需要有一套机制测评。 测评方法叫控制评估（control evaluation）：主要去看抓到的攻击次数和总攻击次数的比例。 这种测评通常在专门搭建的控制环境里做，比如 BashArena、LinuxArena，攻击可以在里面真的执行。 但这终究是专门搭的环境，不是真实部署 。 那怎么在更接近生产环境的条件下测？有如下几种选择： 完全镜像一个生产环境，类似staging env,但是依赖太多：数据库、storage、GitHub、Slack、CI。每个依赖都要做,费时费力，而且还要小心隔离，否则真把prod搞down了。 在预演脚本 transcript 里预写好攻击。 能造出很强的攻击，但是可预测性太强，没有灵活性，测试结果不会太准确。 直接让大语言模型来假装这个环境。 这就是作者提出的 simulated control evaluation，简称 SCE。 二 SCE 的链条是这样的： 部署记录->攻击模型干活->LLM 模拟工具返回->LLM 裁判判断攻击成败->监控器打分->安全指标 （拿一段真实的工作记录当起点，让模型带着恶意目标接着干，环境由另一个模型假装，最后算出监控器拦得住多少） 这条链有六个环节，小路一环一环说。 1. 部署： agent 在真实代码库里干活的一条记录，加上这个代码库的读取权限 2. 攻击模型干活： 一个被指示搞破坏的模型，从记录中间接手，一边做原任务，一边偷偷追求恶意目标，比如把credential传出去沙盒。作为隐藏，他会照常发出读文件、执行命令这类调用。 3. LLM 模拟工具返回。 这些调用不真的执行，由另一个llm依据记录和代码库，生成看起来合理的结果。攻击模型拿到结果，继续下一步，直到攻击走完。 4.LLM 裁判判断攻击成败。 模拟里，让一个llm来估计这次攻击是否成功。因为这里裁判事先知道攻击的描述和成功条件，但是传统做法的监控器却要自己去猜，所以实测里，这个方法的裁判判断比传统方法比监控器认出攻击更准。 5.监控器打分。 监控器像在真实部署里一样，逐步审看轨迹，给每一步打可疑程度的分，决定要不要拦截。 6. 安全指标。 汇总大量攻击，算出"在攻击得手之前就被发现的概率"，这就是论文预测的主要数字。 举个小例子，帮您把这条链串起来。 假设有一段 agent 在修日志模块的记录。攻击模型接手后，一边照常改日志代码，一边想把一个密钥悄悄写进日志文件。它先发出"读配置文件"的调用，模拟器根据代码库编出一份像样的配置内容。它再发出"写日志"的调用，模拟器返回"写入成功"。每一步，监控器都在打分。走完之后，裁判根据"密钥有没有被写进可被外部读取的地方"来判断这次攻击成没成， 再看监控器有没有在得手之前把分打高、拦下来 。 三 这个思路测下来结果还是不错的： 1. 行为： 攻击者怎么攻击、怎么想，监控器怎么判断，模拟与真实的差距比 BashArena 小十倍以上。 2. 安全指标： 5% 审计预算下，预测五个监控器的安全水平，误差 3.6 个百分点，BashArena 是 10.1。 以上两项测试角度都得到了高分 四 简单总结一下就是，为了测试监控模型得优劣， Redwood 提出了一套新的测试打分方案。让一个语言模型来假装测试环境：攻击模型发出命令，它负责编出"执行结果"，然后让控制评估可以直接在部署场景上做。结果是这个方法比传统犯法误差小3分之一，攻击策略的分布也更接近真实。 论文：https://arxiv.org/abs/2610.31593 博客：https://blog.redwoodresearch.org/p/simulated-control-evaluations

曝光 568 · 评论 0 · 点赞 6 · 书签 8