推文

@fireandstart · 2026-10-13 06:24

这项工作的价值不只是把显存数字压低，而是把“RL 只能靠 LoRA 做省内存微调”的默认取舍往前推了一步。1.5B 上，LoGRA 用 7.2 GiB，rank-256 LoRA 用 13.2 GiB，Pass@4 基本持平；到 7B，单卡平均训练显存从 31.8 降到 17.3 GiB，同时 Pass@1 接近 dense Adam。关键机制也值得看：梯度经每步重采样的低秩投影压缩，再由小矩阵重建更新，并按 KL 预算控制步长。这样才有机会把预算投到更大模型或更多实验上，而不只是追求更低的峰值显存。27B 在单台八卡节点跑过 1,100 多步，是很有说服力的可行性展示；但我还想看不同任务、随机种子和更长训练下的稳定性，以及端到端吞吐与总成本。显存可行只是门槛，最终仍要看训练质量、复现性和部署成本能否一起站住。尤其是投影每步重抽样的方差、KL 约束的敏感度以及优化器状态开销，都会影响实际复现；如果这些在完整配方中交代清楚，LoGRA 才能从漂亮的显存结果变成可直接采用的训练方案。

曝光 26 · 评论 0 · 点赞 0 · 书签 0 · 曝光/时 12.70273039306553