推文

@Ryrenz · 2026-10-13 08:01

🔋 太省了，微软开源的 BitNet 能让一颗普通 CPU 跑起 1000 亿参数的大模型，不用显卡。 BitNet 在 GitHub 狂揽 4 万 stars，仓库 2024 年 8 月才建，三千七百多个 fork 说明真有人拿它在干活。 平时想在自己机器上跑个稍微大点的模型，第一道坎永远是显存：装不进去，就只能换更小的，或者去租卡。BitNet 的做法是把权重压到 1.58 bit 这个极限档位，让 CPU 直接吃下去——官方测下来，x86 上比传统方案快 2.37 到 6.17 倍、能耗降 71.9% 到 82.2%，ARM 上快 1.37 到 5.07 倍、能耗降 55.4% 到 70%。那个 1000 亿参数的模型在单颗 CPU 上大概每秒出 5 到 7 个词。 微软自己也顺着这条路放了一串 1-bit 模型，包括 24 亿参数的 BitNet-b1.58-2B-4T 和两个嵌入模型，还有一个在 CPU 上跑实时多语言语音识别的 VibeASR.cpp。 显卡价格这么离谱的时候，省电省卡本身就是功能。 GitHub：https://github.com/microsoft/BitNet

曝光 753 · 评论 1 · 点赞 10 · 书签 9 · 曝光/时 136.58889914082823