TwKit
正在载入
TwKit

😱逆天了!12GB显卡就能跑!7630亿参数压到1 bit,DeepSeek V4.1 Flash 1017 最新魔改版来了!专为代码生成 + Agent工… · @NFT_Chen · TwKit

@NFT_Chen

😱逆天了!12GB显卡就能跑!7630亿参数压到1 bit,DeepSeek V4.1 Flash 1017 最新魔改版来了!专为代码生成 + Agent工作流优化! 刚看到ISTA-DASLab(ETH Zurich + ISTA)放出的DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder,直接把763B MoE压到约1 bit/权重,有效1.05 bpw。 硬件门槛(实测可跑): 🔹显卡:单张NVIDIA 12GB+ VRAM(RTX 30/40/50系列) 🔹内存:建议64GB RAM(最低46GB可跑) 🔹硬盘:约183GB(Transformer 72GB + Engram 111GB),必须放NVMe 🔹引擎:Strata一键启动,或llama.cpp(b11870+) 核心亮点: 🔹极致压缩:50%专家剪枝 + GSQ-RCO量化,优先保留代码/Agent/视觉能力 🔹能力保留惊人:SWE-bench Verified 77.0(保留94.8%),LiveCodeBench v6 88.57(保留98.7%) 🔹真实Demo:1 bit模型直接写出可玩体素沙盒、金时体素园林+锦鲤池等单HTML文件,浏览器即开即玩 🔹MIT开源,本地推理友好 快速上手步骤: 1️⃣下载:https://huggingface.co/ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-Coder-GGUF 2️⃣用Strata一键启动(推荐),或llama.cpp加载(记得链上Engram) 3️⃣开启reasoning,直接开写代码/Agent任务 4️⃣原模型基准参考:https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash-1017 #DeepSeek #GSQ #RCO #LocalLLM #OpenSourceAI #Agent #CodingAI #HuggingFace #梁文峰 #大胖鱼

曝光 427 · 评论 4 · 点赞 12 · 书签 12

查看原帖