Hugging Face 刚开源了 DeepSeek-V4.1-Flash 的 GSQ-RCO 4-bit 量化权重，这套量化方案把 MoE 架构的边缘部署… · @fishjar · TwKit

@fishjar

Hugging Face 刚开源了 DeepSeek-V4.1-Flash 的 GSQ-RCO 4-bit 量化权重，这套量化方案把 MoE 架构的边缘部署门槛又往下砸了一截。 很多大模型做 4-bit 量化时，代码补全能力会因为关键操作符（如位运算、复杂指针语法）的权重畸变而迅速退化。 该模型采用了 GSQ（分组对称量化）与 RCO（残差补偿优化）联合算法，把专家路由层的高敏感度通道保留在 8-bit，其余参数压入 4-bit。在 128K 上下文代码测试中，保留了 98% 以上的 FP16 原生推理能力，单张 24GB 显存的 RTX 4090 即可跑满吞吐。 开源地址：https://huggingface.co/ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-Coder-GGUF

曝光 284 · 评论 4 · 点赞 2 · 书签 0