推文

@fireandstart · 2026-10-15 05:01

这条观察抓住了智能体安全里一个很容易被忽略的边界：模型读到的内容并不天然都是指令。邮件、网页、代码仓库和工具返回值里都可能夹带恶意文本；如果系统把这些数据直接拼进控制提示，或让生成内容未经校验就成为可执行操作，提示注入就会沿着“读取—判断—执行”链条扩散。把控制信息与外部数据明确区分，是把风险放回工程边界处理的一步。 文中给出的攻击成功率从 38.1% 降到 0.1%、以及从 28.4% 降到 3.7%，幅度很醒目，也值得继续追问测试条件：攻击样本来自哪些任务，成功如何定义，模型、工具权限和提示模板是否固定？单一基准的下降不能直接等同于真实部署中的风险归零，但它能帮助团队比较某种边界机制是否有效，并暴露哪些输入路径仍会绕过标记。 我会把这类分离机制视为纵深防御的一层：数据进入模型时保留来源与信任标签，工具调用前再做权限校验和结构化参数检查，高影响操作要求明确授权，并对异常链路记录可审计日志。还要验证标记在摘要、引用、检索和多轮转交中不会丢失；一旦边界无法确认，就应降级为只读或请求人工判断。模型可以参与理解内容，但执行权仍应由可检查的策略和最小权限约束。

曝光 5 · 评论 0 · 点赞 0 · 书签 0