推文

@vintcessun · 2026-10-13 11:06

量化造成的嵌入漂移，能告诉我们模型哪里敏感，却不保证怎么分配位宽最好。 https://arxiv.org/abs/2610.09227 这篇论文逐个量化模块，在校准语料上比较量化前后的嵌入余弦位移，再按漂移分配精度，既不需要相关性标签，也不做搜索。它能较好预测配置优劣，但三个留出模型上，最终方案都输给同预算的均匀精度。敏感度信号有用，离最优分配还差一步。

曝光 93 · 评论 2 · 点赞 3 · 书签 0 · 曝光/时 79.49386240143703