推文

@druncle · 2026-10-11 23:05

微软CEO纳德拉在X上发了一篇长文章，标题是：“在超级智能时代，把模型当作内部风险来对待”。 马斯克引用说有意思。这篇文章总结下来，核心就是：最可信的超级智能系统，不是那个我们最信任的模型，而是那个让我们能最不信任模型的系统。 传统软件 vs 现在的AI 以前的软件出了问题，能追到具体哪行代码。现在的超级智能模型更强，但你根本不知道它为什么这么干，训练数据和权重怎么影响结果，基本是黑箱。但是，我们已经让它碰敏感数据、做关键决策了。这才是危险的地方。 责任不能外包 模型公司会说他们保证安全，不等于我们就没责任可以甩手了。不能把超级智能当成一堆嵌套黑箱，只负责接受或拒绝它的答案。必须自己建一套能看、能管、能随时刹车的系统。智能可以来自模型，但控制权必须握在自己手里。 把模型当成内部风险 不是说模型一定恶意，但任何足够强的东西，都可能犯错或被攻破。企业管内部人已经有几十年经验：给身份、限权限、记日志、划边界。现在要把这套方法用到AI模型上。 具体怎么做 - 不依赖单一模型，不要做让模型自己验证自己的事； - 每个重要行动都要留下人类能看懂、改不了的证据； - 持续测试失败场景，而不是只看成功案例； -控制权必须在模型外面，模型自己不能改自己的权限； - 随时能中途叫停（紧急刹车）；出事了要及时披露，行业一起学教训。

曝光 418 · 评论 0 · 点赞 3 · 书签 0 · 曝光/时 61.81905912845899