先学合成数据，划算吗？ | Is Synthetic Pre-pretraining Worth the Budget? · @AasenVS · TwKit

@AasenVS

设想你手里只有一份不大的文本语料，却还有训练预算可花。是让模型把这些自然语言再读几遍，还是先学括号、网格演化之类的合成序列，再回来学语言？两条路线都可能降低损失，但只有把账算在同一张表上，才能判断多出

曝光 70 · 评论 2 · 点赞 1 · 书签 0