TwKit
正在载入
TwKit

卧槽,全体起立!748B 的 DeepSeek V4.1 Flash 1017,128G 内存的 Mac 就能本地跑了! Unsloth 刚放出量化版,顺手… · @xiangxiang103 · TwKit

@xiangxiang103

卧槽,全体起立!748B 的 DeepSeek V4.1 Flash 1017,128G 内存的 Mac 就能本地跑了! Unsloth 刚放出量化版,顺手讲讲「量化」是啥: 模型就是几千亿个数字,量化就是每个数字少存几位,像无损音乐转 MP3,体积砍一半,音质掉一点 🔥按内存对号入座 1. 128G:1-bit(IQ1_S),233GB,和原版选同一个词的比例约 85% 2. 256G:3-bit(IQ3_XXS),395GB,约 95% 3. 300G 以上:4-bit,500GB,基本无损 内存比文件小也能跑,是因为它有块 196B 的查表,能放 SSD 按需读 想本地部署的先收藏 https://unsloth.ai/docs/models/deepseek-v4.1-flash

曝光 41 · 评论 0 · 点赞 0 · 书签 0

查看原帖