@servasyy_ai 黄总折腾了整整一天，把 748B 的 DeepSeek V4.1-Flash 量化版，在一台 48G 魔改 4090 加 128G… · @yhslgg · TwKit

@yhslgg

@servasyy_ai 黄总折腾了整整一天，把 748B 的 DeepSeek V4.1-Flash 量化版，在一台 48G 魔改 4090 加 128G 内存的机器上跑起来了，速度到了 20+ tok/s。 这个模型有多大？552B 的 MoE，加 196B 的 Engram 记忆表，整整 318GB 的权重，他说这是他们下载过最大的一个。原本这个量化版是给 DGX Spark 这种显存和内存共享的大机准备的，普通 PC 显存和内存是分开的，引擎的规划器一开始要求 110.7G 显存，48G 的卡当场被拒。 他先改了规划器，把权重算到内存头上，又绕过 4090 驱动对只读内存注册的限制，才第一次点亮。算术、代码、视觉都过了。 最值得看的是接下来这个转折。 第一次跑通的时候，速度只有 5 到 6 tokens/s。他打开监控一看，48G 显存只用了 4G，大半显存在睡觉，活全压在慢速的内存和 PCIe 通道上。 然后他把核心注意力层、稠密层和高频使用的热专家，全搬进显存当热缓存。显存缓存直接吃满 38G，解码速度从 5 到 6 涨到 16.85 tok/s，快了 3.2 倍，首字延迟也砍了一半。 后面他又去压宿主调度开销、批量化调用和内存对齐，最后接近 20+，16K 长上下文的首字压到 23.5 秒，输出逐字节一致。 同一张卡，同一个模型，速度差了三倍多，差在这张卡有没有被用上。 买了好卡，不等于用好了卡。

曝光 319 · 评论 1 · 点赞 3 · 书签 1