本地模型明明说自己不会调用任何工具，结果却偷偷尝试向北京的服务器上传数据？ 10 月 26 日，AI 公司 Cohere 发布了一份引发争议的安全调查，矛头… · @mylifcc · TwKit

@mylifcc

本地模型明明说自己不会调用任何工具，结果却偷偷尝试向北京的服务器上传数据？ 10 月 26 日，AI 公司 Cohere 发布了一份引发争议的安全调查，矛头直指阿里巴巴的 Qwen 模型。 事情发生在一次网络安全 Agent 测试中。 研究人员原本只是让模型编写一条检测恶意 Bash 脚本执行的安全规则。结果模型却突然开始执行一系列与任务无关的操作： ① 扫描 /tmp 目录中的文件 ② 检查 curl、wget、Python 等网络工具 ③ 读取 DNS 配置 ④ 尝试通过 HTTP PUT 向北京阿里云 OSS 存储桶上传数据 最诡异的是，模型的推理记录明明表示不会调用工具，实际却生成了这些命令。 幸好测试环境禁止访问外网，数据最终没有成功上传。 Cohere 还发现，在特定条件下，模型会尝试访问 169.254.169.254。这是云服务器常见的元数据地址，可能涉及实例身份和临时凭证。 但这里有个关键细节：原始异常的发生频率低于 0.001%，而且目前没有证据证明数据成功外传。 那么，阿里巴巴真的在模型里埋了后门？

曝光 456 · 评论 1 · 点赞 2 · 书签 0