推文

@antiAIvo · 2026-10-08 21:36

《Switch Transformer》学习总结 03：Switch Routing 上次学习了 MoE 核心： N 个专家，每个 token 只走一个 每个专家有路由器分配 来推导下路由器的计算过程： 很简单：一个线性层 + softmax 分三步： 1. logits = x · W_r 2. p = softmax(logits) 3. i = argmax(p) 其中 W_r 的形状是 (d_model, N) 总结就是：打分 → 变概率 → 选一个

曝光 1103 · 评论 3 · 点赞 9 · 书签 5