今晚别刷剧了。 这个斯坦福的100分钟讲座，把Claude、GPT这些模型到底是怎么被造出来的，直接拆开给你看。 大多数人还在纠结prompt怎么写，这里从… · @huxlab · TwKit

@huxlab

今晚别刷剧了。 这个斯坦福的100分钟讲座，把Claude、GPT这些模型到底是怎么被造出来的，直接拆开给你看。 大多数人还在纠结prompt怎么写，这里从头讲： Tokenizer不是随便分词。BPE是去找文本里最常见的子序列，让序列更短，后面所有计算都跟着省下来。 数据才是真的脏活。从1PB级别的Common Crawl开始，过滤、去重、重加权，一层层把垃圾洗掉，才有干净的训练集。互联网是脏的，模型能干净，全靠这一步。 Scaling laws很直白：同样算力，Transformer比LSTM强太多。参数和token有最优比例，不是越大越好，是配得对才好。 预训练完的模型只会接龙。要变成有用的助手，得用人类偏好数据训练奖励模型，再用RL（PPO）把它对齐成ChatGPT的样子。 最后是系统层。bf16低精度、混合精度训练，让大模型训得动、训得快、内存扛得住。没有这些，前面全是纸上谈兵。 真正会用AI的人，不是会写更好的prompt。 是知道它从哪来、怎么被喂数据、怎么被对齐、边界在哪。 斯坦福把这些基本功公开了。 剩下的，就看你自己敢不敢动手做一遍。 https://x.com/RamSingh_369/status/2114712579075715173/video/1

曝光 322 · 评论 2 · 点赞 1 · 书签 5