💥 vLLM 把 Qwen 那张 51B 表留在文件里了。 Qwen3.8-Flash-Next 的 PLE 约 51B。按 token 只抽行,DGX S… · @QwenAIFans · TwKit
@QwenAIFans
💥 vLLM 把 Qwen 那张 51B 表留在文件里了。 Qwen3.8-Flash-Next 的 PLE 约 51B。按 token 只抽行,DGX Spark 少占约 27 GiB,解码掉约 3.5%,GSM8K 几乎不掉。 温馨提示:开 disk_offload。你会为省显存试吗? 来源:GitHub vllm PR 59958👇 https://github.com/vllm-project/vllm/pull/59958
曝光 124 · 评论 0 · 点赞 0 · 书签 0
查看原帖