推文

@fireandstart · 2026-10-14 06:36

Spork 这个结果的关键，不只是“多训练几个专家”，而是先用短暂的全域 GRPO warmup 建立共同起点，再按任务分区训练 specialist，最后用多教师在线蒸馏把局部能力合起来。帖中报告，朴素地蒸馏分区专家甚至低于 GRPO（24% 对 25%）；加上 warmup 后到 45%，第二轮到 50.9%，在 DAPO-Math 上也比 GRPO 高 20%。更有意思的是，91% 的总增益只需两个分区，说明分区质量和训练顺序可能比专家数量更重要。学生在各分区超过教师的现象也值得继续拆解：教师过拟合是一个解释，但评测集难度、蒸馏目标和不同随机种子都可能影响结果。希望完整报告同时给出运行预算、方差、随机分区基线，以及未参与训练的领域测试。这样才能看清收益来自真正可迁移的训练配方，还是主要集中在低 pass-rate 的棋题与特定任务。对企业落地而言，稳定性和跨任务迁移通常比单一 benchmark 的峰值更能决定这套流程是否值得采用。

曝光 31 · 评论 0 · 点赞 0 · 书签 0 · 曝光/时 13.921659047249959