Softmax 的梯度是如何算错的？ 如何修复大模型天空的裂缝 · @FeitengLi · TwKit

@FeitengLi

Softmax 是深度学习中广泛使用的基础运算，也是标准 Transformer 的重要支柱：输出端用它把候选词的打分转成概率，配合交叉熵计算训练损失；内部各层的注意力头用它分配权重，决定更关注哪些位置。

曝光 636 · 评论 0 · 点赞 0 · 书签 3