MiniMax M3.1 Flash 的权重放出来了，428B 总参数，每个 token 激活 23B。 官方权重 252 GB 左右。我两台 DGX Sp… · @wei_wang · TwKit

@wei_wang

MiniMax M3.1 Flash 的权重放出来了，428B 总参数，每个 token 激活 23B。 官方权重 252 GB 左右。我两台 DGX Spark 加起来 256 GB 内存，还要给系统和 KV cache 留地方，原版放不下。 Mia 已经做了 EXL3 3.06 bpw 的版本，文本模型 167 GB。两台 TP2 分下来每台 84 GB 左右，128GB 的 Spark 放得下，还有余量。 KV cache 不大。60 层，每层 4 个 KV 头，每头 128 维，按 BF16 算每个 token 约 120 KB，128K 上下文 15.7 GB。 这个包还没有推理引擎验证过能加载。TensorFold 两台 Spark 的配方说是快出了，出来我就上机试。

曝光 471 · 评论 1 · 点赞 3 · 书签 0