推文

@antiAIvo · 2026-10-12 21:35

记录下从零训练 GPT-2 的过程 01 - 数据准备: 之前我手写的 GPT 还是个空壳 要训练，第一步不是写训练循环 而是准备数据 做的事只有三件： 1. 下载一份很小的莎士比亚语料 2. 用 GPT-2 的 tokenizer 编码成数字 3. 按 9:1 切成训练集和验证集 结果：总共 338,025 个 token 训练集 304,222，验证集 33,803 模型是看不懂文字的，它只认识这一长串数字 训练时，就是从中随机截一段一段喂给它 为什么要留一份验证集？ 因为只看训练集 分不清模型是真学会了，还是在背答案 当然这点数据比真正训练大模型用的小了好几个数量级 目的只是为了学习大模型训练流程 和验证之前学习的理论知识 不是复现 GPT-2 的效果

曝光 1795 · 评论 3 · 点赞 19 · 书签 6 · 曝光/时 432.31293846730625