推文

@vintcessun · 2026-10-14 12:00

小模型持续学新能力，瓶颈可能不是训练方法，而是它连高质量的自我监督都产不出来。 https://arxiv.org/abs/2610.13113 SynthSelf 让同系列、略大且已对齐的模型改写训练示例，再用离策略监督和拒绝采样筛选，降低学生模型“教不好自己”导致的能力获取不足与遗忘。实验覆盖3种模型规模、4类能力获取数据和14项保留基准，整体优于6种基线。对延迟和部署成本敏感的系统，这提供了一条用较强教师改善小模型、而非直接扩大线上模型的路径；代价是需要额外的教师生成与筛选流程。

曝光 37 · 评论 1 · 点赞 1 · 书签 0