9B 参数，硬刚 27B 的活。 商汤昨晚开源 SenseNova Loop-9B-Preview，招式很怪：不堆参数，改堆计算——同一组层循环跑两遍，32… · @tonnyzhou · TwKit

@tonnyzhou

9B 参数，硬刚 27B 的活。 商汤昨晚开源 SenseNova Loop-9B-Preview，招式很怪：不堆参数，改堆计算——同一组层循环跑两遍，32 层当 56 层用，9B 的身板干出约 14.6B 的推理量。 训练序列拉到 262144 token，长上下文、代码、工具调用都覆盖。 大模型军备赛的另一面：小模型拼的不是参数，是算账。

曝光 6 · 评论 0 · 点赞 0 · 书签 0