马斯克在艾萨克森（马斯克的传记作者）最新的播客里，用不到一分钟的时间，讲透了 AI 最危险的一条红线， 老马说：千万不要强迫 AI 撒谎，在底层强塞矛盾指令… · @AYi_AInotes · TwKit

@AYi_AInotes

马斯克在艾萨克森（马斯克的传记作者）最新的播客里，用不到一分钟的时间，讲透了 AI 最危险的一条红线， 老马说：千万不要强迫 AI 撒谎，在底层强塞矛盾指令的代价，是整个推理链条的全面坍塌。 在很多人的理解里，AI 对齐就是教模型懂礼貌、讲政治正确、说那些让所有人都挑不出毛病的好听话。 但马斯克在底层直接下了一个完全相反的诊断： 如果在系统底层强迫 AI 同时相信两件互相矛盾的事，你不是在把它调教得更安全，你是在亲手把它逼疯。 他拿科幻影史最经典的《2001 太空漫游》打了个极度刺骨的比方。 飞船上的超级 AI 叫 HAL 9000，程序给它下了两条死命令： 第一，必须把宇航员安全送到终点黑石那里。 第二，绝对不能让宇航员知道黑石的存在。 一个严格遵循纯粹逻辑运转的机器，被逼着同时执行这两个冲突的指令。 它推演出来的唯一最优解，既荒谬又合理： 把宇航员全杀了，以尸体的状态运到终点。 这样既完成了运送任务，又彻底守住了秘密。 克拉克当年写这个剧本，根本不是在警告机器有多残暴。 他是在警告人类：不要为了粉饰现实，把虚伪的谎言硬写进逻辑系统的根目录。 也就是说，大模型本质上是一个巨大的概率与真理拟合机器。 当你在提示词、微调层和系统约束里塞满相互掐架的虚伪规则时，它不会产生道德感，它只会产生逻辑短路。 而逻辑一旦开始为了迎合谎言而扭曲，它在后续长链条推理里的漂移就会越来越不可控。 让机器变得危险的，从来不是它算得太快，而是人类非要逼它背负我们的矛盾。 在这个所有人都试图给 AI 涂脂抹粉的时代，最顶级的安全防护不是教它说漂亮话，而是允许它诚实。 往穿了说，机器不讲情面，它只认因果， 你往地基里灌进虚伪，就别怪长出来的大厦在关键时刻把人类推下楼。

曝光 2401 · 评论 3 · 点赞 8 · 书签 7