🔥厉害了！27B 砍到 24GB，却几乎和原版一模一样！Qwen3.8-27B 的无损量化版，三档仅 23.7–30.5GB，EAR 高达 98–99%！ … · @NFT_Chen · TwKit

@NFT_Chen

🔥厉害了！27B 砍到 24GB，却几乎和原版一模一样！Qwen3.8-27B 的无损量化版，三档仅 23.7–30.5GB，EAR 高达 98–99%！ 主要亮点： 🔹EAR 直接衡量与原版下一 token 概率的重叠，99% 基本等于统计上分不开。 🔹敏感层更高精度，激活保持 BF16，专为最小体积保最高保真。 🔹vLLM + Humming 即开即用，Apache 2.0，GGUF 下周到。 快速上手： 1️⃣装 vLLM + humming-kernels 2️⃣vllm serve kaitchup/Qwen3.8-27B-SLQ-EAR99 --quantization humming --dtype bfloat16 --max-model-len 262144 3️⃣直接调 OpenAI 接口 4️⃣需要工具/推理再加 parser 集合：https://huggingface.co/collections/kaitchup/qwen38-27b-slq 
推荐 EAR99：https://huggingface.co/kaitchup/Qwen3.8-27B-SLQ-EAR99
 #Qwen38 #LocalLLM #vLLM #量化 #开源 #Alibaba #中国模型

曝光 2346 · 评论 10 · 点赞 33 · 书签 22