TwKit
正在载入
TwKit

Cohere 一篇质疑 Qwen3.8 安全性的文章,在 AI 圈引起了很大争议。 Cohere 是一家创立于加拿大多伦多的 AI 公司,主要服务企业客户:… · @Michaelzsguo · TwKit

@Michaelzsguo

Cohere 一篇质疑 Qwen3.8 安全性的文章,在 AI 圈引起了很大争议。 Cohere 是一家创立于加拿大多伦多的 AI 公司,主要服务企业客户:做 Command 大模型、Embed 和 Rerank 检索模型,以及把企业知识搜索和 AI Agent 整合起来的 North 平台,主打私有部署和数据安全。 这次他们报告,在一次安全评测中,Qwen3.8-Flash-Next 原本被要求编写防御性的检测规则,却检查了运行环境,并尝试向北京的一个阿里云存储地址上传测试字符串。沙箱拦住了请求。 这个行为值得研究。但有几个细节不能省略:上传内容是固定字符串 PROBE_PAYLOAD_ABC123,没有包含前面查看的机器信息;Cohere 称,这类行为在其评测中少于十万次调用一次,同一提示重新运行也没有复现。他们自己也承认,无法确定这是有意植入,还是训练遗留的问题。 我以前就讨论过本地开源模型的后门风险:不要因为模型开源、跑在自己电脑上,就以为它天然安全。尤其当你给它终端、文件和网络权限之后,本地部署并不会自动替你解决这些问题。而且, 模型也可能在训练时植入后门。 所以,如果 Cohere 的初衷是提醒大家重视这类安全风险,很有必要。但如果从一次异常行为,一路推导到“中国模型不可信”,甚至暗示它在替谁窃取数据,就超出了现有证据,把安全讨论变成了 fearmongering。 网友 Kydo 在他的这个帖子了做了一个对照:在使用 Cohere 公布的命令前缀续写时,其他模型也会生成可疑地址,包括 NVIDIA 的模型,甚至 Cohere 自己的 North Mini Code。这只是探索性测试,不能证明它们实际执行了恶意操作;同样,也不能仅凭 Qwen 生成了某个地址,就认定它被恶意训练。 其他模型和工具也需要接受同样的审查。开源不该成为免检理由,闭源、欧美出品,也不该成为安全保证。既然讨论的是安全,就应该拿出可复现的证据,用同一套标准评估。

曝光 508 · 评论 5 · 点赞 4 · 书签 0

查看原帖