推文

@tvytlx · 2026-10-11 07:23

最可信的 AI 系统，是让你最不用信任模型的那个。 这篇文章的思路我挺认同：把大模型当成公司里的“内部人员风险”来管。 理由很朴素。 任何能力够强、又能碰到核心系统的角色，都可能犯错，也可能被人攻破。 员工是这样，模型也一样。 以前的软件出了问题，顺着代码路径能查到是哪一行。 现在的模型，你说不清某个输出来自哪段训练数据、哪组权重。 但我们已经把最敏感的数据和关键操作权交给它了。 说白了，就是把公司防内鬼那一套搬过来：身份、最小权限、日志、隔离。 几个点我觉得最关键： 管权限的东西必须放在模型外面。 70 年代信息安全就有这条原则：程序不能绕过或篡改约束它的机制。 放到今天，模型、调度它的 harness、它能执行的动作，三样要分开。 让模型互相审查可以做，但不够。 搞不好最后变成一个黑箱，在另一个黑箱编排层里，被第三个黑箱盯着。套娃了属于是。 每个关键动作都要留下人能看懂、改不了的记录。 复盘的时候，不能靠模型自己作证。 默认它已经被攻破。 任务做到一半，有权限的人也能随时按下急刹车。 同一个模型，不能既干活又出验收证据。 原文有句话总结得很好：把智能的供给，和对它的控制权分开。 我觉得这对大多数公司来说，比纠结“哪家模型最靠谱”重要多了。 模型厂商的保证，替你扛不了后果。 模型会越换越快，围着它搭的那层确定性系统，才是真正留在你手里的东西。 https://x.com/satyanadella/status/2108931348857827686

曝光 920 · 评论 5 · 点赞 4 · 书签 2 · 曝光/时 115.62826438027855