这个有点令人难以置信。 一边厢,硅谷一家专注GPU 底层优化的公司Flapping Airplanes 刚拿到 10 亿美元 A 轮融资, 估值60亿;另一… · @Michaelzsguo · TwKit
@Michaelzsguo
这个有点令人难以置信。 一边厢,硅谷一家专注GPU 底层优化的公司Flapping Airplanes 刚拿到 10 亿美元 A 轮融资, 估值60亿;另一边厢,两个开发者 Arnold Xu 和 Jerry Zhu,看着它公开的 demo 视频,把里面展示的功能重新实现了一遍,还开源了。 Flapping Airplanes 想做的是让 AI 用更少的数据和算力完成训练、推理。它展示的 megakernel,可以让同一张 GPU 在一个持续运行的程序里,一边训练模型,一边用正在更新的模型生成文字,同时还跑着《Doom》。背后的思路是把不同任务安排在一起,减少 GPU 闲着等数据、等调度的时间。Index 和 Lux 领投了这轮融资,押注的是这套提高 AI 效率的研究方向。 这两个人没见过Flapping的源码。他们从视频画面里提取配置和成绩,在一张 B200 上,把计算单元分给训练、推理和游戏,再从零写出任务调度,让三件事在同一个 kernel 里持续运行。 按他们公布的结果,训练 4,000 步用了 48.1 秒,原视频是 46.1 秒;推理达到每秒 1,660 个 token,原视频是 1,076 个;《Doom》全程保持 35 帧。不过双方模型和训练设置并未完全对齐,这些数字还不能直接当成同条件胜负。开源项目 他们还发现,把现成的 Megatron 配合 CUDA Graphs 跑起来,训练只要 43.1 秒,比自己的 megakernel 更快。 估计Index 和 Lux看到这里, 肠子都悔青了。不知道现在撤资还来得及不。 https://x.com/realarnoldxu/status/2117451527514186126/video/1
曝光 54 · 评论 0 · 点赞 0 · 书签 0
查看原帖