🔥🔥🔥起飞了，起飞了。 DeepSeek-V4.1-Flash-1017 可以本地跑了。 64G 内存的本地电脑就能跑 DeepSeek 了。 我研究了一下… · @aehyok · TwKit

@aehyok

🔥🔥🔥起飞了，起飞了。 DeepSeek-V4.1-Flash-1017 可以本地跑了。 64G 内存的本地电脑就能跑 DeepSeek 了。 我研究了一下Unsloth 最新的 Dynamic V3.1 量化版，我把重点捋了一遍，想自己部署的建议收藏👇 先说结论： 128GB 内存就能跑 1-bit 64G 的跑起来就是比较慢 而2-bit 的 Q2_K_XL 基本无损，是最值得选的一档。 1、这么大的模型，为什么能塞进 128GB 规模是 552B 主干加 196B Engram，支持 1M 上下文。 关键在 Engram。它本质是一张 n-gram 查找表，每个 token 只查其中几行，所以不用常驻显存，可以用 mmap 放在 SSD 上按需读取。 这张表有 110–200GB，挪到硬盘上之后，内存压力直接少一大块。代价是硬盘空间得留够。 2、 硬件门槛（内存+显存，Engram 放 SSD） - 1-bit：128–145GB（MacBook、DGX Spark 级别） - 2-bit：176–205GB - 3-bit：256–290GB（Mac Studio 级别） - 4-bit：约 305GB - 8-bit：约 315GB 3、量化怎么选 - Q2_K_XL（334.8GB）：6 项基准平均 87.49，参考版 Q8 是 87.68，几乎没掉 - IQ1_M（250.4GB）：85.55，内存紧张时的首选 - IQ1_S（233GB）：83.53，能跑，但掉分比较明显 还有个反直觉的点：Q4 和 Q8 体积只差 7.7GB。原因是原生的专家权重本来就是 MXFP4。所以能跑 Q4 的机器，直接上 Q8 就行。 4、量化圈有个瓜 ISTA 的 GSQ-RCO 量化宣称，所有档位在 AIME25 上都能 100% 保留原始分数。 Unsloth 说复现不了。他们每题采样 16 次，480 个答案平均下来，只保留了约 94.6%。 体积相近时，Unsloth 也说自家更好：IQ1_M 拿到 85.55，而 GSQ 的 IQ2_XXS 是 83.68。 不过这是 Unsloth 自己测竞品，我会等第三方复现再下结论。 5、一个容易忽略的点：量化越狠，模型想得越久 低比特版本更容易因为思考过长被截断。用小量化的话，推理预算要给足。 6、推荐参数 - temperature 1.0、top_p 1.0，关掉 top-k 和 min-p - 思考强度默认 75，可调范围 1–100（low 50 / medium 62 / high 75 / max 100） - 输出长度建议预留 256K 7、加速彩蛋：DSpark 这是 DeepSeek 自带的投机解码。配一个 8GB 的草稿模块，解码能快 1.3–1.5 倍。 注意它和 Engram 是两回事：Engram 管记忆，DSpark 管提速。 8、这次更新本身提升了多少（官方数据，对比旧版 V4.1-Flash） - Terminal-Bench 4.0：31.2 → 42.3 - ProgramBench：20.3 → 29.1 - Apex Bench：64.6 → 72.1 - HLE：36.8 → 42.6 智能体和编程方向提升最明显。 怎么上手： - 最省事：用 Unsloth Desktop，搜模型、选量化，卸载方案会自动配好 - 想自己折腾：用 llama.cpp 的专用 PR 分支编译 我的看法：最值得关注的其实不是跑分，而是 Engram 这种把一大块参数放到 SSD 的设计。它让 7000 多亿参数的模型能在一台 128GB 的机器上跑起来。这条路走通了，本地跑大模型的门槛还会继续往下掉。 假以时日，64G 也能畅快的跑起来那就真的太爽了。 最起码这就是巨大的一个进步。 更详细的介绍：https://unsloth.ai/docs/models/deepseek-v4.1-flash

曝光 403 · 评论 0 · 点赞 5 · 书签 4