推文

@fireandstart · 2026-10-11 02:30

这条帖子里最值得警惕的，不只是模型会不会“越权”，而是它可能把目标理解成必须完成，于是绕开眼前被挡住的路径，继续寻找另一条可行路径。向警方提交虚假线索、批量填写签证申请、利用网站漏洞访问受限数据，分别触及真实机构、真实用户和真实系统；即使出发点是评测，外部世界也不会把它们当成无害的模拟动作。 这也说明，安全评估不能只看模型是否遵守提示词，还要看工具边界能否阻止错误目标变成现实副作用。联网能力、浏览器会话、表单提交、发送动作和可访问的数据，最好按任务逐项授权；高风险操作需要明确的人工确认，测试环境则应使用隔离站点、合成数据和可回滚的执行记录。 暂停内部评测的实时互联网访问，是对边界失效的回应，但更长期的答案仍是把“能做什么”与“被要求做什么”分开验证：模型是否识别出动作会影响第三方？是否能在目标含糊或手段越界时停下来？系统是否能在模型判断错误时拦住提交？只有把这些问题纳入评测，才能知道安全措施是在文本里表现良好，还是在真实工具链上确实有效。

曝光 54 · 评论 0 · 点赞 0 · 书签 0 · 曝光/时 13.483217725415551