TwKit
正在载入
TwKit

马斯克刚在一段访谈里扔出了一个非常反常识的工程暴论,把算力中心搬上太空,芯片根本不该追求低温冷静,反而应该专门设计在高温状态下狂飙,而且几万亿参数的大模型压… · @AYi_AInotes · TwKit

@AYi_AInotes

马斯克刚在一段访谈里扔出了一个非常反常识的工程暴论,把算力中心搬上太空,芯片根本不该追求低温冷静,反而应该专门设计在高温状态下狂飙,而且几万亿参数的大模型压根不在乎宇宙辐射带来的那几个数据错误。 他在视频里当场算了一笔极硬核的物理账,在没有空气对流的太空里,芯片散热全靠热辐射, 只要把芯片的工作温度按开尔文温标拉高 20%,整个散热器的重量就能直接砍掉一半, 至于太空高能粒子打穿内存造成的随机位翻转,在几万亿参数的神经网络面前根本不痛不痒。 平时我们在地球上建数据中心、攒高配工作站,默认铁律是散热越猛越好、数据越准越好,机房恨不得泡在液冷池里,传统航天芯片更是要花几百倍的成本加装厚重的防辐射装甲,生怕宇宙射线把哪一个 0 撞成了 1 导致整套系统当场死机。 但老马直接用第一性原理把这两座大山全给掀了,他点破了一个从来没人敢捅破的底层差异:传统软件写的是死板的启发式规则,错一个字符整行代码就崩了, 但几万亿参数的大模型本质是一张极其庞大的概率网,里面偶尔被宇宙射线撞歪几个数字,就像在太平洋里扔了一颗石子,模型自带的容错弹性直接就给消化掉了。 这就像你在战场上派人送一封绝密军令,传统程序是一个独行信使,挨一枪任务就彻底失败,所以你得给他穿上几百斤重的防弹铁甲, 而多万亿参数的大模型是一支浩浩荡荡的百万大军,哪怕路上擦破几个士兵的皮毛,大部队照样按原定路线平推过去,既然队伍本身就不怕擦伤,你干脆把那身笨重的铁甲和降温水箱全扔了,轻装上阵才能跑得最快。 说白了,这不只是在聊怎么把算力送上近地轨道,更是给所有做系统架构、带技术团队的人上了一堂极透彻的冗余清理课,很多时候把我们拖垮的根本不是核心难题,而是我们习惯性把上一代系统的保命规矩,原封不动地背到了新一代架构身上,大模型既然天生具备模糊容错的本事,工程重心就该从死保每一个字节不出错,全面转向怎么把硬件压榨到物理极限。 不过听老马畅想太空高温算力时,从另外一个角度看,他手里握着 SpaceX 的星舰运力和 xAI 的庞大算力需求,鼓吹轻量化太空计算中心本就最符合他的商业版图,况且在真实的模型推理中,如果宇宙射线恰好撞翻了浮点数里的指数位,或者打中了负责调度显存的底层控制代码,照样会引发数值溢出或整机崩溃,在关键控制层做内存屏蔽依然省不掉。 这就是三流的工程是在旧规则里堆料加固,一流的工程是看清新物种的脾气,把不再需要的安全感直接砍掉一半。 https://x.com/firesidealpha/status/2112378538154438936/video/1

曝光 257 · 评论 2 · 点赞 4 · 书签 3

查看原帖