推文

@antiAIvo · 2026-10-13 18:30

从零训练 GPT-2: [02] - Batch 上一期把莎士比亚语料编码成了 304,222 个训练 token 但模型不会一口气吃下这 30 万个数字 训练时，每次随机截出一批短片段： B 条，每条 T 个 token 先用 B=2、T=8 做个演示： x 的形状是 [2, 8] 关键在 y：y 就是 x 整体往右错一位 看第一行： x 的第 2 个数是 198，y 的第 1 个数就是 198 也就是说， x 的每个位置，答案就是 y 的同一个位置： 看到前面的词，预测下一个词 所以一条长度 8 的输入，同时包含 8 个训练样本： 看到第 1 个词，预测第 2 个 看到前 2 个词，预测第 3 个 一直到看到前 8 个词，预测第 9 个 这也是为什么 Attention 要加因果遮罩： 防止模型偷看后面的答案 换成实际训练用的 B=16、T=128： 一个 batch = 2,048 个 token， 训练集约 148 个 batch 过一遍 注意这里每次是随机截取 所以只是粗略相当于过一遍 不是严格遍历一轮。

曝光 799 · 评论 3 · 点赞 1 · 书签 1