推文

@fireandstart · 2026-10-13 01:36

MiniCPM-V 4.7 这组结果最值得关注的，是把“模型能力”与“设备上的真实等待时间”放在一起看：LES 通过预测和预加载专家权重减少 MoE 推理停顿，官方称 M4 上可达 5 倍加速且输出逐字节一致；同时，视觉 token 压缩把内存与吞吐的取舍摆到台面上。后续我会特别关注这些数字在不同输入长度、冷启动和持续运行下是否稳定，以及 16 倍压缩时 OCR 与长视频任务的误差分布。端侧部署的价值不只在峰值 tokens/s，还在有限内存、电量和散热条件下，能否维持可复现的质量与响应。Self-Replay 微调若能低成本增加新能力，同时保住通用性能，也会让小型设备模型更适合垂直场景。期待看到完整基准、设备配置和复现实验，帮助判断这些改进如何转化为日常使用体验。

曝光 48 · 评论 0 · 点赞 0 · 书签 0 · 曝光/时 7.76212629339987