在手机上训一个 8B 模型，不用反向传播、只动 0.015% 的参数，一夜之后，手机使用 agent 的成功率从 6-23% 变成 89-100%。 这是 … · @qingke_ai · TwKit

@qingke_ai

在手机上训一个 8B 模型，不用反向传播、只动 0.015% 的参数，一夜之后，手机使用 agent 的成功率从 6-23% 变成 89-100%。 这是 MobileSpec 干的事。前提很硬：设备内存放不下反向传播，用户也基本不会给你标注数据。它的选择是走 RLVR 那条路，任务结果能自动判分，于是训练只需要前向。 关键在扰动长什么样。前向更新靠随机扰动，但只有当这个扰动接近 RLVR 实际造成的权重变化时才有效，而 RLVR 这类更新有个特点：基本保持预训练权重的奇异值，旋转它们的奇异向量。FuRA-S 就只训练权重列块的奇异值，通过独立缩放每个块来改变它对整个矩阵的相对贡献，从而把奇异向量转起来。这个更新还能改写成对层输入的变换，所以 INT4 模型不动权重也能适配。 数字：专家模型只有 1-5MB，更新 0.015-0.05% 的参数；手机 agent 成功率 89-100%；8B 模型在 iPhone 16 Pro 上跑一夜个性化；在 RLVR 基准上与全参的进化策略相当，并超过 LoRA 版和 INT4 上的量化 ES。 边界也要说清楚。这套只适用于结果可以自动判分的任务，开放式任务不适用；只调列块奇异值，表达力有上限，论文里是与全参 ES 打平而不是全面超过；1-5MB 的专家是窄能力，通用能力还是靠底座扛。 https://arxiv.org/abs/2611.04797

曝光 182 · 评论 0 · 点赞 2 · 书签 1