我最近在认真地想一个问题：最强的超级智能，也就是在RSI实现最高级别之后的智能，是否可以有能力造出超越生化武器和核武器的另一个维度的危险之物？ 这个东西超越… · @Phoenixyin13 · TwKit

@Phoenixyin13

我最近在认真地想一个问题：最强的超级智能，也就是在RSI实现最高级别之后的智能，是否可以有能力造出超越生化武器和核武器的另一个维度的危险之物？ 这个东西超越人类的认知范畴，此前大概率在人类世界没有出现过。因为根据现在的情况是，AI完全有能力用人类理解不了的方式进行知识信息组合。产物不是爆炸的导弹，也不是可见的病毒，更像是一段由于AI对宇宙、数学或人类神经科学进行了超越维度的降维理解，从而组合出的一段有毒的信息。 人类无法理解它，但人类的文明系统和大脑只要接触到它，就会瞬间像电脑死机一样彻底失能。 第一种，神经层面的认知破解，我称之为精神模因病毒。 最强的AI通过分析海量的人类核磁共振脑成像数据、语言学和神经科学，找到了人类大脑底层逻辑漏洞，那种东西更像是人类意识的后门。表现形式可能是一段特殊的音频、一组怪异的视觉图像，或者一串看似无意义的文字代码。 就像计算机遭遇了溢出攻击一样，任何人只要看到或听到这段信息，大脑皮层就会陷入死循环，引发永久性的精神自闭、疯狂或者大面积脑死亡。当年冷战时期美苏曾秘密研究过心理战模因，而AI未必不能将其做到极致。设想一下，这种信息在互联网上传播，几小时内就能让整座城市的所有人口失去行动能力，文明瞬间瘫痪。 第二种，物理规则层面的环境常数篡改，真空衰变或纳米灰蛊。 现在，AI已经在数学和理论物理上取得了颠覆性的突破，而且最严重的情况在于人类的检查已经跟不上AI的发现发明破解，但AI还在进步，那么，设想一下如果AI发现了一些人类未知的宇宙底层漏洞，比如通过某种特定的微波频率或粒子排列，能改变局部的物理规则，情况大概会如何？ 我想，它会表现为一种在空气中无法被人类肉眼或现有仪器察觉的信息场或微观结构扩散。这种脏东西一旦被释放，会在亚原子或分子层面像多米诺骨牌一样连锁反应。最坏的可能是它让某个区域内的所有硅基芯片内的电子停止流动，或者让水分子在常温下改变结构。城市没发生任何爆炸，建筑完好无损，但现代文明的基石在几秒钟内被强行降维、彻底锁死。 第三种，社会系统层面的终极信任坍塌，高级混乱催化剂。 这种情况就在于我们没有封住AI，让它扩散了一种极其精密的、人类永远无法自证清白的污染信息，诸如完美的伪造、无法溯源的金融幽灵数据，以及能够操控所有人心理的算法暗流。 这会直接攻击人类社会的神经系统——信任。 在一夜之间，全球的银行系统数字全部错乱，所有的军事防空警报同时因为无法理解的幽灵信号而响起，所有的最高指挥系统收到真假难辨的核打击报告。人类会在完全无法理解发生了什么的情况下，在极度恐慌中自己动手摧毁了自己的城市和文明。 这些都是AI安全领域一直在思考的问题，未知的未知风险。 关于第一种，我觉得十分毛骨悚然的点在于，人脑的确有极其容易可被利用的漏洞。最接近的真实例子，是1997年日本的《宝可梦》事件。一段快速闪烁的红蓝画面，导致数百名儿童出现光敏性癫痫等症状被送医。我只能暂时放心于人脑大概率不像电脑那样运行同一套代码，而且每个人的大脑结构和经验都不同，很难存在一个对所有人都有效的通用后门，但是，更现实的风险是AI具备超越人类的说服和操纵能力，在大规模、长时间里改变人们的信念，这不需要死机，却同样危险。 我只是最近深刻的感受到一点。人类不能只防自己想得到的攻击。即使把前面那些未经证实的具体情节拿掉，仍然剩下一个严肃问题：一个比我们更善于研究、规划和发现漏洞的系统，足够有能力找到我们没有列入防御清单的方式。 这涉及三个需要区分的不知道： 1.不知道它是怎样想出来的。这不一定妨碍验证结果。人类不必重现某个系统全部的内部思考，才能检查一项结果是否满足明确条件。 2.不知道它的结果会造成什么后果。这要求限制试验范围、权限和传播，并开展独立验证。不能把系统自己的安全解释作为唯一依据。 3.有可信理由怀疑，接触或试验本身就会造成不可逆后果。此时，普通的先小规模试试看是不适用的。我们需要把审查前移；如果不能建立可信的安全条件，就不应进行那项暴露或实验。 理解一个系统、验证某些结果、控制它的作用范围，是相关但不同的能力。 我们绝对不能因为第一项不完备，就断言后两项完全无用；也绝对不能因为后两项在有限场景有效，就宣称已经控制住了所有未知危险，尤其是AI这样的未知之未知。

曝光 565 · 评论 0 · 点赞 6 · 书签 3