233GB 的模型文件，硬塞进 64GB 内存的家用电脑里跑通了。 Unsloth 刚发了 DeepSeek-V4.1-Flash-1017 的 Dynam… · @tvytlx · TwKit

@tvytlx

233GB 的模型文件，硬塞进 64GB 内存的家用电脑里跑通了。 Unsloth 刚发了 DeepSeek-V4.1-Flash-1017 的 Dynamic V3.1 量化版，号称 64GB 内存就能在本地跑出 Claude Sonnet 5.5 级别的效果。 我点进 HuggingFace 看了一眼参数，这玩意虽然名字叫 Flash，底子居然是个 748B 参数的巨无霸，支持 1M 上下文，MIT 协议开源。 在纯文本 HLE 和 Terminal-Bench 上它还落后于 Opus 5，但在 DeepSWE（77.0 对 74.0）、Automation-Bench（60.5 对 50.3）和 Agents’ Last Exam（35.4 对 28.6）这几个写代码、跑 Agent 的榜单上，已经反超了 Opus 5 和 GPT-5.6 Sol，而且输出更短、跑得更快。 更有意思的是它的体积账。 哪怕用 Unsloth 压到极限的 1-bit（UD-IQ1_S），模型文件在硬盘上依然有 233GB。 64GB 内存怎么吞下 233GB 的文件？ 秘密在 DeepSeek 的 Engram 架构上。 这 233GB 里，有整整 110.6GB 是静态的 Engram 词表（n-gram 查找表）。 这部分数据完全不用塞进内存做矩阵计算，直接通过 mmap 挂在固态硬盘上按需读取就行，甚至还能把词表从 MXFP8 进一步压到 Q6 或 IQ4。 我觉得这背后是一个很关键的底层趋势。 以前大模型把“死记硬背的知识”和“逻辑推理能力”全揉在神经网络权重里，逼着所有人为昂贵的显存和统一内存买单。 现在通过架构拆解，把上百 G 的静态记忆甩给便宜的固态硬盘，只留核心推理权重在内存里跑。 本地跑大模型的瓶颈，正在从“买不买得起天价内存”，变成“硬盘读写够不够快”。 当然，这事也有明确的物理边界。 Unsloth 官方文档写的舒适门槛还是 128GB 内存，3-bit 版本得上到 256GB。 64GB 内存确实能跑起来，但因为要高频从硬盘调数据，生成速度会明显慢一截，本质上是用硬盘带宽和时间去换内存空间。 如果是高频写代码、追求秒回，直接调 API 或者上 128GB 以上的机器依然更痛快；但如果你手头正好有一台 64GB 内存的电脑，用来在本地挂着跑对延迟不敏感、但要求高隐私的自动化 Agent 任务，这性价比真有点离谱了。 照这个路子演进下去，以后省下来的苹果内存税，估计得全拿去批发固态硬盘当耗材烧了。 https://x.com/0x0SojalSec/status/2116263439681417554

曝光 244 · 评论 7 · 点赞 4 · 书签 0