推文

@tonnyzhou · 2026-10-16 20:04

9B 模型塞进手机，只要 2GB。 昨天 PrismML 发布了 Ternary Bonsai 2，三元权重模型了解一下。思路很直接：权重只用 -1、0、+1 三种值，乘法全变成加减法，存储直接缩小约 10 倍。9B 的模型 2GB 就装下，iPhone 上能跑到每秒 120 个词元。 手机端 Agent 的最大瓶颈从来不是算力，是内存带宽——三元这条路，就是冲着把大模型搬进口袋去的。#AI科普

曝光 72 · 评论 1 · 点赞 1 · 书签 0 · 曝光/时 22.958679892653812