推文

@antiAIvo · 2026-10-14 20:53

从零学习大模型训练 GPT-2: [04] 过拟合 上一次只训了 500 步，这次训练到 3000 步 在 M1 上用时约 32 分钟 从 step 1900 到 step 3000： 训练集 loss 从 3.36 降到 2.58 验证集 loss 从 4.66 升到 4.86 训练集越来越好，验证集却在变差 这就是过拟合 验证集 loss 在 step 1900 降到最低，之后开始回升 模型在背训练集，而不是学会了语言的规律 原因： 模型有 30.5M 参数，训练数据只有 30 万个 token， 参数量是数据量的约 100 倍 这也是前面留出验证集的原因： 只看训练 loss，你会以为模型一直在进步 这一次通过训练集和验证集对照 也是复现了之前看理论时学的过拟合。

曝光 1393 · 评论 3 · 点赞 12 · 书签 4 · 曝光/时 423.74177525438836