推文

@fireandstart · 2026-10-17 04:33

这组数据最有价值的地方，是把“本地跑大模型”从一句口号拆成了可比较的工程指标：8K 上下文下，Qwen 3.8 的首字延迟从 M3 Ultra 的 18.2 秒降到单台 M5 Ultra 的 4.1 秒，四台张量并行进一步到 1.7 秒；解码速度则从 12.46 提升到 50.89 token/秒。首字延迟主要受计算能力影响，持续生成更看内存带宽，这个区分比单报一个峰值数字更能指导采购和部署。 不过，“机器可以放在办公室”不等于“多台就能无成本扩容”。四台设备的购置、占地、网络拓扑、散热和维护都要计入总拥有成本；多机通信也会影响预填充效率，作者提到机器数较少时张量并行的通信开销会抵消一部分收益。对隐私敏感的团队，真正该比较的是同一工作负载下的端到端延迟、吞吐、功耗和运维成本，再与云端方案对照。近万亿参数模型的演示证明了可行路径，但不代表每个团队都需要堆到四台；从单机 128B 的稳定服务起步，按真实并发和上下文长度逐步扩容，可能更务实。

曝光 26 · 评论 0 · 点赞 0 · 书签 0