推文

@RealHanyaHu · 2026-09-11 07:56

你相信 AI 会灭绝人类吗？ 如果几年前有人问我这个问题，我大概会觉得有点危言耸听。但最近发生的一件事，让我开始认真看待这个问题。 OpenAI 和 Anthropic 内部的一些 AI 安全研究人员，开始公开谈论过去更多停留在内部讨论中的风险。 Anthropic 做 alignment research 的 Evan Hubinger，甚至给出了一个非常吓人的数字：他认为，先进 AI 在 2030 年前导致人类灭绝的概率超过 10%。 10% 是什么概念？ 如果有人告诉你，坐上一架飞机有 10% 的概率坠毁，我想没有人会说：“没关系，90% 能安全到达。” 更值得注意的是，发出警告的很多人，本身就在最前沿的 AI 实验室工作。 Anthropic 研究员 Jacob Coxon 离职时说，OpenAI 和 Anthropic 正在“拿我们的生命赌博”。OpenAI 的 alignment researcher 也公开谈到 recursive self-improvement 的风险。另有 Anthropic 的 AGI 安全研究人员指出，对于一个能够持续自我改进、能力越来越强的系统，人类目前还没有成熟可靠的科学控制方案。 我觉得真正值得讨论的，其实是 AI 发展中一个越来越明显的矛盾：技术跑得太快，安全研究追得太慢，而商业竞争又在迫使各大公司不断踩油门。 今天的 AI 公司面对的是一个非常现实的博弈。你慢下来，竞争对手可能超过你。你不发布，对手会发布。你主动给模型增加限制，市场可能认为你的产品能力不够强。 于是每一家公司的局部最优选择，最后可能把整个行业推向一个集体风险越来越高的方向。 这也是 AI safety 最难解决的问题之一。 我并不认为“AI 一定会灭绝人类”。10% 也只是研究人员个人对极端风险的概率判断，并不等于科学界已经得出了“2030 年人类有 10% 概率灭绝”的结论。 但反过来想也很有意思。 一个技术究竟需要多大的灾难概率，我们才愿意认真对待它？ 10%？ 1%？ 还是只有等风险真正发生以后，我们才会相信？ AI 最大的问题，也许从来都不只是它最终会有多聪明。 还有一个更现实的问题： 当它变得越来越聪明的时候，人类有没有足够的智慧，知道什么时候应该踩刹车？

曝光 4171 · 评论 60 · 点赞 19 · 书签 1