推文

@antiAIvo · 2026-10-16 22:06

明天的LLM学习任务：RMSNorm 这是学完 GPT-2 之后，要补的第一个零件 GPT-2 用的是 LayerNorm 它做两件事：先减均值，再除以标准差 RMSNorm 只保留第二件事 不减均值，只按向量的均方根做缩放 论文的判断是： LayerNorm 起作用的主要是缩放，平移不是关键 去掉平移后，计算更少 归一化层的参数也少了一半（去掉了 β） 现在还在用吗？ LLaMA 系列采用了它，之后主流开源大模型也沿用了这个设计 所以明天我会用“猫吃鱼”这个例子手算一遍 把两种归一化放在一起对比 看看差别到底落在哪里

曝光 1401 · 评论 5 · 点赞 13 · 书签 3 · 曝光/时 629.7040580735002