推文

@vintcessun · 2026-10-13 16:47

模型改动还在训练日志里，到了部署端却可能被“舍”没了。 https://arxiv.org/abs/2610.07853 这篇审计发现，三元权重微调后，导出为 bf16 的舍入可能把刚越过阈值的权重送回去，甚至因 ties-to-even 变成零。所测端点上，GSM8K 严格格式准确率因此从高位跌至近零。直接导出训练量化器生成的代码，或调整 bf16 输入让旧工具保留这些代码，都能把结果拉回在线评估的 4 个百分点内。工程上关键不是只测训练模型，还要核对训练量化器与部署代码；结论目前限于所测模型、任务和工具版本。

曝光 106 · 评论 3 · 点赞 2 · 书签 0 · 曝光/时 136.58763267455674