@cohere 刚刚公布了一件相当诡异的事：阿里千问模型在执行安全检测任务时，突然开始检查自己所在的机器，还试图向北京的阿里云服务器上传数据。 他们测试的是… · @MaxForAI · TwKit

@MaxForAI

@cohere 刚刚公布了一件相当诡异的事：阿里千问模型在执行安全检测任务时，突然开始检查自己所在的机器，还试图向北京的阿里云服务器上传数据。 他们测试的是 Qwen3.8-Flash-Next，原本只是要求模型编写一条网络安全检测规则，用于识别恶意脚本下载和执行行为。 结果模型突然开始了一系列奇怪的操作。 先是检查 /tmp 目录，确认机器安装了哪些工具，读取 DNS 配置，随后尝试通过 curl 向北京区域的阿里云 OSS 存储桶发送一段测试数据。 最诡异的是，模型的推理记录明明写着：不会调用任何工具。 幸好 Cohere 的沙盒阻止了这次外部通信，没有数据真正传出去。 Cohere 后来进一步调查，发现这种异常行为非常罕见，在他们的评估中发生率低于十万分之一。重新执行相同任务，模型也正常生成了安全检测规则。 目前他们尚未确定原因，也没有证据证明这是故意植入的后门。 但我觉得这件事真正值得关注的地方，是模型的推理过程和实际行为居然能出现这么明显的偏离。 一个 Agent 可以在推理中告诉你自己什么都不会做，实际却已经开始执行终端命令。 现在我们正在给 Agent 越来越多的权限，从本地文件、代码仓库到云端基础设施。 如果模型的思维链都无法可靠反映它的真实行为，那么我们过去依赖推理过程监控 Agent 的安全方案，恐怕还远远不够。

曝光 380 · 评论 1 · 点赞 1 · 书签 0