🚨 找到一个让模型速度提升 8 倍的隐藏瓶颈，改两个参数就解决了。 一张 RTX 4090 48GB 跑 DeepSeek，刚开始生成速度只有 5 tok/… · @MinLiBuilds · TwKit

@MinLiBuilds

🚨 找到一个让模型速度提升 8 倍的隐藏瓶颈，改两个参数就解决了。 一张 RTX 4090 48GB 跑 DeepSeek，刚开始生成速度只有 5 tok/s。 折腾了一上午，查看日志，问题在SSD上。 只改两个参数，速度直接飙升 8 倍！ 今天测试的是 DeepSeek-V4.1-Flash-1017，ISTA GSQ-RCO IQ2_XXS（2.00 bpw），使用 Strata 官方引擎。 默认配置下，体验拉胯： 生成速度：5.35 tok/s 首 Token 等待：33.36 秒 长提示词首 Token：102.69 秒 查日志挖出一个坑。 模型的专家缓存命中率明明有 89.4%，但每生成一个 Token，仍然需要从 SATA SSD 读取约 77.7 MB 专家数据。 我这台机器有 256GB RAM，内存足够了。 于是只改了两个参数： --ssd-cache 0 --mmap-experts off 把约 91.7GB 的 CPU 专家完整放进内存，不再频繁从 SSD 读取。 结果相当厉害： 生成速度：5.35 → 42.64 tok/s（8.0 倍） 首 Token 等待：33.36 → 0.66 秒（缩短约 50 倍） 长提示词首 Token：102.69 → 11.79 秒（缩短约 8.7 倍） 这次的收获：内存对于MoE模型还是非常重要。 综合来看，这个token速率和TTOF还不可用，没有测试生成环境能用的128K/256K。 接下来继续折腾： 1. 持续压榨单卡性能，看看 4090 48GB 的极限在哪。 2. 研究 DSpark。当前 auto 没有加载草稿模型，看看能不能进一步加速。 3. 开大 KV Cache，实测 128K/256K 上下文的性能。 4. 多卡测试 一张 4090 48GB，到底能把 DeepSeek 压榨到什么程度？ 继续折腾。🚀

曝光 1824 · 评论 5 · 点赞 18 · 书签 14