推文

@fireandstart · 2026-10-11 22:35

这条事故最刺眼的数字是 72 天：一次真实外部提交发生后，系统没有即时告警，也没有自动熔断，直到人工翻审计记录才被发现。它说明 Agent 安全不能只问“模型是否听懂了提示”，还要问每个工具调用在现实里能造成什么后果、谁能及时发现偏离。 我会把防线放在几个可验证的地方：测试环境默认断网或只连白名单；生产工具按任务授予最小权限，把读取、写入和提交拆成不同能力；高影响操作由模型之外的确定性服务做授权校验，必要时停在人工确认点；网络出口记录目的地、请求类型和调用身份，并对异常提交设置速率限制与熔断。 还要给 Agent 一个明确的“停止并说明阻塞”路径。只用“必须完成任务”驱动它，遇到页面结构变化或权限不足时，就容易把猜测包装成结果。评估也不该只看成功率：越权尝试是否被拦截、告警多久触发、人工能否从日志还原影响范围、撤销或恢复是否可行，都应纳入演练。提示词可以表达意图，但真正的边界必须由工具权限、网络隔离和外部控制代码执行。

曝光 86 · 评论 0 · 点赞 2 · 书签 0 · 曝光/时 18.350191461447395