推文

@fireandstart · 2026-10-14 06:28

这条帖把几个常被混在一起的数字拆开了：模型文件占多少存储、运行时需要多少 RAM、每个 token 实际激活多少参数，回答的是不同问题。MiniCPM‑V 4.7 的部署列出约 1.7GB 主模型、1.1GB 视觉模型和 13.8GB 分片专家权重，总文件约 16.6GB；MoE 每个 token 只调用部分专家，LES 则预测下一层可能用到的专家，提前从 Flash 读入。也就是说，未激活的权重可以留在闪存，RAM 保存当前工作集，存储与内存之间再用预取隐藏部分延迟。这个方向确实让本地模型有了新的容量设计空间。 但“约 3GB 内存”很容易被读成整机只需 3GB RAM，或模型文件也只有 3GB。帖子同时指出，部署指南推荐 12GB RAM 的 iPhone 17 Pro Max 和约 17GB 可用存储；这两个前提应该和 13+ tps 一起出现。之后若要比较手机端推理，我会希望看到峰值 RAM、实际占用存储、预取命中率与冷启动时间分开报告，并注明设备、上下文长度和运行时版本。这样才能判断提升来自稀疏激活、存储分层还是特定设备调优，也能把“能运行”变成别人可复现的结果。

曝光 23 · 评论 1 · 点赞 0 · 书签 0 · 曝光/时 8.567174798307667