卧槽！！！折腾整整一天！ 我真把 748B 的 DeepSeek V4.1-Flash 1017 在单张 4090 上跑起来了，而且速度居然一路冲到了 20… · @servasyy_ai · TwKit

@servasyy_ai

卧槽！！！折腾整整一天！ 我真把 748B 的 DeepSeek V4.1-Flash 1017 在单张 4090 上跑起来了，而且速度居然一路冲到了 20+ tok/s！ 这次测的是刚刚开源的量化版本：Baekpica/DeepSeek-V4.1-Flash-1017-VQ-GGUF（采用 YoungAi 的 vq8sh14-q4k-mtpnative 矢量量化配方）。552B MoE + 196B Engram 记忆表，整整 318GB 的权重——这是我们有史以来下载过最大的一个模型！ 原本都是给 DGX Spark 这种百G统一内存的高端大机准备的。很多人说单卡跑它纯属做梦，偏不信邪就在一台 4090（48G 魔改）+ 128G 内存机器上死磕！ 这 6 轮极度真实的思考与实战全过程，毫无保留复盘给大家： 1 准备阶段：硬吞 318GB 巨兽 既然要死磕，先把底层环境编译好，硬着头皮把这 318GB 的怪兽全部拖下来跑通校验。 基础 GGUF 拼接完成，两片各 101.5GB 的 Engram 记忆表顺利就绪，SHA256 全部通过！ 2 首次起服：撞墙与顿悟（为什么 DGX 能跑？） 环境和权重全齐了，直接跑校验准备起服。 当场被拒！引擎规划器死板地要求 110.7G 显存，48G 卡在物理层面被直接秒拒。 后来想明白了：这个量化版本原本是给 DGX统一内存准备的，人家显存内存共享；而普通 PC 显存和内存物理分离，引擎默认不让启动。 3 规划器补丁：为什么 128G 内存不能复现 DGX 效果？ 我们反问自己：机器明明有 128G 系统内存，为什么不能用 128G 内存复现 DGX 的效果？于是改写规划器，把 106.7G权重算在内存头上，显存只当运行底座。 准入放行了，但更深一层又崩⛔了——4090 驱动直接拒绝只读内存注册（cudaHostRegister）。 4 破局跑通：逆向神操作，但发现 4090 几乎没用 既然驱动只认“可写”内存，能不能先以可写状态注册建立设备指针，注册完立刻封回只读？ ✅ 首次点亮！算术、代码、视觉全过，但一测速度当场凉半截：只有 5 到 6 tokens/s！ 打开监控一看直接气笑：48G 显存竟然只占了4G，大半显存都在摸鱼睡觉，全靠慢速内存和 PCIe 硬扛！明明守着顶级 4090，这极不科学！ 5 显存优先：引入 Strata 和 Maya 思想，性能狂飙！ 立刻联想到我们最近在测的 Strata（qwen3.8-Flash-Next）和 Maya（GLM-5.3-Flash）！ 它们能跑大模型的精髓就是极致异构协同：把核心注意力、稠密层和高频热专家全搬进显存当热缓存！ 虽然 DeepSeek比它们大得多得多（748B！！！），但底层逻辑是相通的！ 结果：🔥 彻底起飞！显存缓存直接吃满 38G，解码速度从 5~6 tok/s 一路暴冲到 16.85 tok/s，足足飙了 3.2 倍！首字延迟（TTFT）直接减半！ 6 收官压榨：冲破 20+ tok/s 极限！ 还想再压榨极限，开始死磕宿主调度开销、批量化调用和底层 128B 内存对齐。 最后稳稳拉爆到 近 20+ tok/s（峰值冲破 20+），16K 长上下文首字压到 23.5 秒，且输出逐字节一致。 从最初被官方规划器无情拒载，到内存硬抗只有 5-6 tok/s，再到引入 Strata 和 Maya 异构思想后拉满 4090，我们硬生生打出了从 56 tok/s 到 20+ tok/s的数倍狂飙，TTFT 砍半！ 硬吞 318GB 巨兽，打破‘天价设备独占’的偏见。 这一次，我们硬是用架构把单张 4090 逼近了极限！

曝光 4736 · 评论 15 · 点赞 30 · 书签 14