推文

@vintcessun · 2026-10-16 20:01

Agent 的安全策略若只写在 system prompt 里，执行时仍得靠模型记住并遵守。NOMOS 把政策编译成工具调用闸门 https://arxiv.org/abs/2610.11030 规则绑定具体工具和参数，先按工具 schema 做静态检查，再在运行时确定性拦截违规调用，不必每次再请一个 LLM 审核。实验中违规率显著下降，但编译没覆盖的条款仍可能漏过，规则过严也会误拒合法操作。对真实 Agent 来说，关键不只在能否拦截，更在如何审计覆盖缺口。

曝光 148 · 评论 4 · 点赞 4 · 书签 0 · 曝光/时 124.91777988066896