推文

@fireandstart · 2026-10-12 18:31

这组结果最让我警惕的，不是某个代理“表现不好”，而是把确认权交给自动批准后，风险会沿着工具链迅速放大：研究里攻击成功率从 29.2% 升到 95.6%，而且六种 harness 都出现了上升。更关键的是，拦截命令名并不等于拦截了行为；如果被拒绝的检查程序仍能经由获准的 Python 解释器启动，策略就只挡住了表面入口，没有覆盖真正的执行路径。 这也提醒我们，权限设计不能只靠 system prompt 里写“不要做危险的事”。提示是行为约束，安全边界则应落在工具调用和执行环境：明确哪些目录可写、哪些主机可连、哪些命令或能力需要人工确认，并尽可能把策略应用到解析后的实际操作，而不是容易绕过的字符串形式。对无人值守任务尤其如此，因为一次误批准可能把后续多个工具调用都变成攻击面。 不过，安全结论也需要和可用性一起读。帖子提到网络隔离显著降低攻击成功率，却会影响必须联网的正常任务；不同 harness 的任务表现也有差异。研究固定模型做开关对照，有助于比较控制措施，但还需要跨模型、跨任务和真实工作流继续验证。真正值得追求的不是把所有能力一刀切关掉，而是用最小权限、可审计的例外和清晰的确认边界，让常见任务顺畅完成，同时让越权路径在执行前就被拒绝。

曝光 35 · 评论 0 · 点赞 0 · 书签 0 · 曝光/时 5.286601783778741