推文

@xueyu1125 · 2026-10-16 12:39

以防大家不知道，第一个在手机端流畅运行的开源模型是国模，MiniCPM-V4.7-35B-A3B，是面壁智能联合 OpenBMB 的开源权重！ 在iPhone 17 Pro Max上运行有13+ tok/s的解码速度 在手机上运行占用占用约3G内存，主要是把未激活的专家权重放到SSD上（和大部分MoE大模型本地部署优化方式一致），并使用投机解码的方式对推理加速 详细信息： - MoE架构，总参数35B，激活参数3B - 原生支持多模态 - 支持跑在iOS、Android 和 HarmonyOS手机上

曝光 555 · 评论 5 · 点赞 5 · 书签 1 · 曝光/时 396.71750882855116