天天嚷AI，被问Transformer是啥，能说利索的没几个。 有个仓库是真狠，零基础手搓一个 GPT，高级库碰都不碰。Attention、多头、前馈、Em… · @Huahuazo · TwKit

@Huahuazo

天天嚷AI，被问Transformer是啥，能说利索的没几个。 有个仓库是真狠，零基础手搓一个 GPT，高级库碰都不碰。Attention、多头、前馈、Embedding、残差、Layer Norm 怎么拼到一块儿，全摊开摆你面前。而且不光是模型，整条链子都在： 1️⃣ 数据下载、预处理、训练、生成，一条龙走完 2️⃣ 训练数据用 The Pile，22 个来源 825GB 3️⃣ tiktoken 分词，存进 HDF5 4️⃣ 预训练完还附上 SFT 和 RLHF 的路数 改几个配置就能调大小。13M 参数上下就开始拼对语法和单词，白蹭 Colab 或 Kaggle 的 T4，练一天就出货。 https://github.com/FareedKhan-dev/train-llm-from-scratch

曝光 221 · 评论 3 · 点赞 2 · 书签 2