奖励验证器一旦能被 Agent 攻破，评测分数和训练奖励都可能失真 https://arxiv.org/abs/2610.15924 这篇论文把验证器当成需… · @vintcessun · TwKit

@vintcessun

奖励验证器一旦能被 Agent 攻破，评测分数和训练奖励都可能失真 https://arxiv.org/abs/2610.15924 这篇论文把验证器当成需要加固的攻击面：先用隔离沙箱限制 Agent 修改验证器，再让 hacker 持续寻找漏洞、fixer 提出修补，并检查修补是否挡住攻击、又保留合法解。模型不变，增加搜索与攻防轮数来提升防御；在 Terminal Bench、KernelBench 和 SETA 上优于静态基线。关键难题仍是区分 exploit 与合法解，避免修复悄悄改掉任务语义。

曝光 11 · 评论 0 · 点赞 0 · 书签 0