同一台 DGX Spark，长 prompt 的 prefill 速度，换个配方能差 5 倍。 TensorFold 1.1.4 只改了 Qwen3.8-2… · @wei_wang · TwKit

@wei_wang

同一台 DGX Spark，长 prompt 的 prefill 速度，换个配方能差 5 倍。 TensorFold 1.1.4 只改了 Qwen3.8-27B 在 GB10 上的默认配方，冷启动 prefill 越长提速越多： 1. 2k：834 → 1,281 tok/s 2. 8k：612 → 1,266 3. 32k：326 → 1,165 4. 64k：203 → 1,045 粗算一下，64k 的 prompt 以前要读 5 分多钟，现在 1 分钟出头。decode 只快了 2% 左右，硬件带宽决定的那部分没变。 跑 agent 每轮都要读几万 token 的上下文，这一步比 decode 更影响体感。 所以拿 Spark 和别的机器比长上下文速度，先看用的是哪个引擎、哪个版本。

曝光 340 · 评论 1 · 点赞 5 · 书签 1