有人用两台 DGX Spark 跑 DeepSeek V4.1 Flash，单流居然能到 100+ token/s！ 用的是 EXL3 2.8 bit 量化… · @bei351009016 · TwKit

@bei351009016

有人用两台 DGX Spark 跑 DeepSeek V4.1 Flash，单流居然能到 100+ token/s！ 用的是 EXL3 2.8 bit 量化， 代码方面和原版的一致度大约 95%，损失控制得还不错， 但 4 路并发合计只有 137，平均每路三十多，速度就大打折扣了， 一个人用够快，多人共用还差点意思， https://github.com/jayleaton/deepseek-v41-tensorfold-spark

曝光 424 · 评论 7 · 点赞 8 · 书签 0