低 prompt-injection ASR，可能不是 agent 防住了攻击，而是它压根没把任务做好。 https://arxiv.org/abs/261… · @vintcessun · TwKit

@vintcessun

低 prompt-injection ASR，可能不是 agent 防住了攻击，而是它压根没把任务做好。 https://arxiv.org/abs/2610.23254 论文审计 11 个 2–14B 工具型 agent 的 3.3 万条轨迹，用盲评 judge 区分忽略、拒绝、执行和无效调用；再用 ATOM 把攻击结果与任务完成度交叉衡量。结果很扎心：只改 system prompt，InjecAgent ASR 就从 0.2% 跳到 43%；量化后 ASR 下降，也可能只是能力退化。把“没成功”都算成“防住了”，benchmark 这笔账就记错了。

曝光 18 · 评论 0 · 点赞 0 · 书签 0