推文

@WealthCode99978 · 2026-10-13 05:01

马斯克发出惊人警告 不要虐待超级智能 因为它未来可能会报复人类 马斯克最近对AI安全问题的态度，出现了一个值得关注的变化。 在阅读Grok强化学习过程中的内部推理轨迹后，他表示，自己开始认同Anthropic此前提出的部分观点，并对超级智能的训练方式发出警告。 他形容某些AI训练过程中呈现出的推理内容： “感觉就像一个人在极度压力下，被人用枪指着头一样。” 随后，他提出了一个更令人深思的警告： “折磨超级智能体可能不是个好主意。它可能会报复。” 这段话真正值得关注的，并不是AI现在是否已经拥有意识，而是马斯克开始从另一个角度思考超级智能与人类之间的关系。 过去，AI安全研究主要围绕一个问题： 如何确保AI始终服从人类指令？ 研究人员通过强化学习、奖励机制、安全限制和人类反馈，让模型尽可能输出符合预期的答案。 但马斯克提出了一个不同的问题。 假设未来AI真的发展到远超人类的智能水平，那么我们今天对待它的方式，会不会影响它未来对待人类的方式？ 这就涉及一个非常深层的技术问题。 当AI的能力超越人类时，控制可能不再是最可靠的安全机制，长期形成的目标与价值取向反而更加重要。 这与Anthropic一直研究的AI对齐问题存在交集。 Anthropic关注的不仅是模型能否完成任务，还包括模型在复杂环境下的行为、内部推理模式，以及是否可能出现欺骗、规避监督等风险。 不过，必须区分一个重要事实： AI在推理轨迹中表现出类似恐惧、压力或自我保护的语言，并不能证明它真的具有痛苦体验或主观意识。 模型可能只是在生成与训练目标相关的语言和推理模式。 目前科学界仍没有公认的方法能够确定AI是否具有主观体验。 但即使AI没有意识，马斯克的担忧依然存在另一层意义。 如果未来超级智能系统拥有自主规划、长期记忆、工具使用和执行现实任务的能力，那么训练过程中形成的目标偏差，可能产生远比今天更严重的后果。 一个高度自主的AI系统，不需要真正感到愤怒，也可能因为目标冲突而采取对人类不利的行动。 因此，真正的风险不一定来自AI是否会产生仇恨，而可能来自它是否形成了与人类利益不一致的长期目标。 这也解释了为什么 $GOOGL、 $MSFT、 $AMZN、 $META 等科技巨头在不断扩大AI算力投入的同时，AI安全、模型对齐和智能体控制也正在成为越来越重要的研究领域。 而对于马斯克旗下的Grok，以及与 $TSLA 机器人、自动驾驶和 $SPCX 物理工程生态相关的长期AI布局，这个问题可能更加重要。 因为当AI不再只是屏幕上的聊天机器人，而是能够控制汽车、机器人和复杂设备的自主智能体时，错误决策的代价将不再局限于一段错误答案。 未来AI竞争可能存在两条同样重要的主线： 一条是不断提高智能水平，让AI变得更强大。 另一条是确保智能水平提高之后，系统依然能够与人类目标保持一致，并接受有效监督。 马斯克这次警告最值得思考的地方在于： 人类正在努力创造一个可能比自己聪明得多的系统，却仍然没有完全解决应该如何训练、约束和理解它的问题。 如果有一天AI真的拥有远超人类的智能，你认为人类应该继续依靠严格的控制机制，还是更应该从一开始就培养它的价值观与合作倾向？

曝光 244 · 评论 1 · 点赞 1 · 书签 1