推文

@flyingpetal472 · 2026-10-15 22:14

看这技术报告，怎么感觉这sparse GQA似曾相识，长得太像MiniMax MSA了，这是不是有人跑过去了，深得真传😏 不过当然这方法提出也挺多的，优化工作也很多。就是block的切分粒度和方法和top k值不太一样，我看也有做过曲线实验。

曝光 405 · 评论 2 · 点赞 4 · 书签 2 · 曝光/时 197.82499730331614