816B 的巨型模型，居然能放在办公桌上跑了！！ 这绝对是Meta的又一个扬眉吐气时刻！！ Meta 刚刚放出了 Muse Spark Open 的开源模型… · @yyyole · TwKit

@yyyole

816B 的巨型模型，居然能放在办公桌上跑了！！ 这绝对是Meta的又一个扬眉吐气时刻！！ Meta 刚刚放出了 Muse Spark Open 的开源模型： 816B 总参数、42B 激活参数、1M 上下文，原生支持文本、图像、音频和视频输入，重点面向 Coding 和 Agent。 更牛的是它的本地部署方式。 两台 M5 Ultra Mac Studio，就能把这个 816B 的模型跑起来！ 怎么做到的呢？ MoE 架构降低了每次推理的计算量，4-bit 量化将模型内存占用压缩到约 493GB，再通过 MLX、统一内存和 Thunderbolt 5，让两台 Mac 协同推理。 苹果官方实测，双机配置在 8K 上下文下，生成速度接近 25 tokens/s。

曝光 453 · 评论 4 · 点赞 1 · 书签 0