Flint 40B 在 DGX Spark 上的实测出来了，单路 86 tok/s，按带宽算的上限是 190 左右，只跑到一半不到。 同一份 NVFP4 文… · @wei_wang · TwKit

@wei_wang

Flint 40B 在 DGX Spark 上的实测出来了，单路 86 tok/s，按带宽算的上限是 190 左右，只跑到一半不到。 同一份 NVFP4 文件、同样的 llama.cpp 参数，RTX 5090 跑到 224.9。Mac Studio M5 Ultra 用的是 Q4_1，124.6。 5090 的带宽 1792 GB/s，是 Spark 的 6 倍多，速度只快 2.6 倍。每个 token 只激活 2.5B 的模型，读权重的时间已经很短，我的理解是剩下的时间花在 kernel 启动、注意力、路由这些固定开销上。 32K 提示词的首 token，5090 要 5.7 秒，Spark 要 19.1 秒。 这种 20 多 GB、激活很小的模型，放独显上更合适。Spark 的 128GB 是给大模型准备的，我两台跑的 GLM-5.3-Flash 有 164 GB，一台装不下。

曝光 136 · 评论 0 · 点赞 1 · 书签 0