科大讯飞在10月22日的1024开发者节发布星火X2.6：293B总参数、30B激活参数的MoE架构，支持百万Token上下文，公司称训练全程在国产算力上完… · @bytelee_trade · TwKit

@bytelee_trade

科大讯飞在10月22日的1024开发者节发布星火X2.6：293B总参数、30B激活参数的MoE架构，支持百万Token上下文，公司称训练全程在国产算力上完成，并首次基于全国产算力实现代码与智能体长程任务能力。 真正影响落地的是“30B激活”这个设计。MoE每次推理只调用部分专家，在效果接近的前提下压低单次计算量，这对单卡算力和集群互联都受限的国产硬件更友好，也直接决定推理报价能不能降下来。百万级上下文则把压力从训练转到显存与KV缓存管理，长上下文能不能便宜地用，取决于这部分工程优化。 需要保留的部分同样明确：训练用了哪些芯片、集群规模、训练时长都没有披露，“全程国产算力”目前是公司口径；代码和智能体长程任务的能力也缺少第三方基准对照。模型发出来只是第一步，端云生态里能否跑出持续调用量，才是这条路线能否自我造血的检验。 #科大讯飞 #国产算力 #MoE

曝光 33 · 评论 1 · 点赞 1 · 书签 0