DeepSeek-V4.1-Flash-1017 的 Unsloth GGUF 出了。总参数 748B,其中 552B 是主干,196B 是 Engram,… · @wei_wang · TwKit
@wei_wang
DeepSeek-V4.1-Flash-1017 的 Unsloth GGUF 出了。总参数 748B,其中 552B 是主干,196B 是 Engram,Engram 这部分可以放到 SSD 上。 Unsloth 的硬件表里,RAM 加显存从 1-bit 的 128GB 起步: 1. 1-bit 128 到 145GB 2. 2-bit 176 到 205GB 3. 3-bit 256 到 290GB 4. 4-bit 305GB 5. 8-bit 315GB 光靠一张 RTX PRO 6000 的 96GB 显存,1-bit 都放不下,得靠系统内存补。我两台 DGX Spark 加起来 256GB,放 2-bit 有余量,3-bit 就卡在边上了。 官方说 64GB 内存也能跑,那是把更多东西压到 SSD 上,速度会慢很多。
曝光 163 · 评论 2 · 点赞 1 · 书签 0
查看原帖