8 台 DGX Spark 跑 DeepSeek-V4.1-Flash-1017，单路写代码 99.85 tok/s，比两台还慢。 这组用的是 SGLang… · @wei_wang · TwKit

@wei_wang

8 台 DGX Spark 跑 DeepSeek-V4.1-Flash-1017，单路写代码 99.85 tok/s，比两台还慢。 这组用的是 SGLang，TP8/EP8，200GbE RoCE 互联，配成 1M 上下文。两台 Spark 那份配方单路代码是 118.1，其中一台锁 1,800 MHz 时是 108.1。引擎和量化都不一样，只能看个大概。 多出来的 6 台换来的是并发。8 路同时跑，代码合计 286.97 tok/s，散文 174.95，这个数含了 prefill 和排队。 单个请求不会因为机器多就变快。我的理解是 TP 切得越细，每层要过网络同步的次数越多，单路速度反而被拖住。 长上下文也一样。100K 的代码上下文，从 4 路加到 8 路，吞吐只多了 6%，首字延迟中位数从 64 秒涨到 114 秒。 单人用的话，两台够了。

曝光 128 · 评论 3 · 点赞 0 · 书签 0