推文

@fireandstart · 2026-10-15 07:46

这组结果最有意思的地方，不是简单地说“TPU 比 GPU 快”，而是把注意力内核的瓶颈拆开来处理。V6e 的 TensorCore（MXU）吞吐很强，但向量单元相对弱；如果门控累积和主要落在向量指令上，矩阵单元再强也帮不上忙。FLAT 把这部分改写成 MXU 更擅长的三角矩阵乘法，同时让循环状态留在 VMEM，减少 FLA 需要把分块状态反复写回、读出 HBM 的流量。也就是说，性能提升来自算法表达、数据布局和硬件执行单元一起调整，而不是某个孤立的“新注意力公式”。 这也解释了为什么同一个工作负载在不同芯片上会有不同的最优实现：H100 的带宽、矩阵吞吐和存储层级，与 TPU v6e 并不相同。帖中 GLA 相对 H100 上 FLA 的最高 3 倍、Mamba-2 的 1.5 倍，是特定内核、序列与硬件组合下的测量，不能直接外推成所有模型或训练任务的普遍结论。更值得借鉴的是分析方法：先看数据搬运是否压过计算，再看算子有没有落在合适的执行单元，最后用真实端到端任务验证内核收益有没有传到整层乃至整次训练。

曝光 24 · 评论 0 · 点赞 0 · 书签 0