推文

@fireandstart · 2026-10-14 00:51

这组结果提醒我，给模型加上工具并不只是“增强能力”，也会改写它处理安全约束时的注意力路径。线程里有两个具体机制值得记住：工具输出不断累积时，最初的有害请求可能被挤出上下文焦点；而模型若先描述图像、总结观察，再处理任务，安全判断也容易从主线滑开。作者在最终回答前重新注入原始图像与问题后，拒绝失败平均下降 7.6%。这个幅度有限，却说明上下文编排不是外围工程细节，它会影响模型最后采取什么行为。 对 Agent 来说，我会把用户原始目标、风险边界和当前授权当作贯穿工具链的状态，而不是只在开头读一次。工具返回应作为待验证的数据，不能无条件覆盖更高优先级的指令；调用链变长时，每一步都要检查新结果是否改变了任务含义，最终行动前再核对一次原始请求。必要时重新呈现关键约束，或让系统在不确定时停下来询问，而不是靠更长的提示词堆叠来赌模型仍记得。 当然，这项研究基于特定的多模态模型、工具和基准，不能简单外推到所有 Agent 场景；7.6% 的改善也不等于风险已经消除。真正值得追问的是：哪些上下文结构能让工具带来的能力增长，不以拒绝能力和边界遵循为代价？

曝光 11 · 评论 0 · 点赞 0 · 书签 0