有人烧了 1129 次训练实验，就为了回答一个问题： 这六年大模型的进步，哪些是真的，哪些是 PPT？ 结论：MoE、线性注意力、hyper-connect… · @zhini1011 · TwKit

@zhini1011

有人烧了 1129 次训练实验，就为了回答一个问题： 这六年大模型的进步，哪些是真的，哪些是 PPT？ 结论：MoE、线性注意力、hyper-connections 是真货。 我看完的感受：别人烧 1129 次，我连 1 次的卡都租不起。

曝光 53 · 评论 1 · 点赞 1 · 书签 0