GitHub 狂揽 4.8 万 Star 的神器 exo：把闲置 iPhone 和旧 Mac 拼成大模型显卡集群想在本地跑 70B 甚至更大参数的模型，却买… · @KOF97AI · TwKit

@KOF97AI

GitHub 狂揽 4.8 万 Star 的神器 exo：把闲置 iPhone 和旧 Mac 拼成大模型显卡集群想在本地跑 70B 甚至更大参数的模型，却买不起几万元的多卡工作站？GitHub 现象级开源项目 exo（单月狂揽 4.8 万 Star）给出了极客解法：它支持通过点对点局域网协议，把你的 M 系列 MacBook、老旧 Windows 笔记本、甚至闲置的 iPhone 和 iPad 动态组建成一个分布式 GPU 显卡池。模型层自动切片并发推理，利用碎片设备直接跑通以前显存爆满的大模型。项目地址：http://github.com/exo-explore/exo#开源神器 #GitHub精选 #本地部署 #白嫖算力 #极客折腾

曝光 408 · 评论 3 · 点赞 7 · 书签 3