Flint 40B 的 NVFP4 版是 22.9 GB，64GB 的 DGX Spark 放得下，还能开满 262K 上下文。 总参数 39.8B，每个 … · @wei_wang · TwKit

@wei_wang

Flint 40B 的 NVFP4 版是 22.9 GB，64GB 的 DGX Spark 放得下，还能开满 262K 上下文。 总参数 39.8B，每个 token 只激活约 2.5B。一步要读的权重大约 1.4 GB。 按 DGX Spark 273 GB/s 的带宽算，单路上限在 190 tok/s 左右。官方给 RTX Spark 的数是 150+。 KV cache 也小。49 层里只有 14 层是全注意力，4 个 KV 头。按 BF16 算，每个 token 约 28 KB，262K 上下文 7.5 GB 左右。 另外 35 层是 513 个 token 的滑动窗口，不随上下文变长。 权重加满上下文 30 GB 出头。64GB 版能跑的，除了 30B 以内的模型，还可以加上 Flint 这种总参 40B、激活很小的 MoE。

曝光 52 · 评论 1 · 点赞 0 · 书签 1