量化模型的跑分，只看模型卡上一个数，很难当真。 DeepSeek-V4.1-Flash-1017 的 GSQ-RCO 量化版，模型卡写着三个尺寸 AIME2… · @wei_wang · TwKit

@wei_wang

量化模型的跑分，只看模型卡上一个数，很难当真。 DeepSeek-V4.1-Flash-1017 的 GSQ-RCO 量化版，模型卡写着三个尺寸 AIME25 全是 100 分。Unsloth 把同样的文件每道题跑 16 遍再平均，最高的 IQ2_XXS 是 95.21，最小的 IQ1_M 只有 91.88。 前几天我拆 GSQ-RCO 的时候，引用的就是这组 100 分。现在看，这个数要打折扣。 两边差在哪，我看下来主要是四件事。 1. 题太少 AIME25 一共 30 道题，错一道就少 3.3 分。 GPQA-Diamond 是 198 道。模型卡上 IQ1_M 比原版低 2.53 分，换成题数就是差了 5 道。 模型卡上的 90.91、89.71、88.38，乘回去正好是 180/198、157/175、175/198 这样的整题数。我推测每道题只跑了一遍，模型卡没写采样次数。 2. 温度 1.0，每次答案都不一样 DeepSeek 推荐温度 1.0。同一道题，这次对、下次错很正常。 粗算一下，假设每道题答对的概率都是 97%，跑一遍 30 道全对的概率大约 40%。随手跑一次拿到 100 分，并不稀奇。 Unsloth 的做法是 AIME25 每题 16 遍，30 × 16 = 480 个答案取平均。GPQA 每题 8 遍，LiveCodeBench 每题 3 遍。 3. 基线要用同一套方法测 Unsloth 拿自己的 8-bit 版 UD-Q8_K_XL 当参照，AIME25 平均 97.08，也不是满分。模型卡上原版是 100。 测法不同，绝对分数没法直接比。Unsloth 把基线按比例换算之后，GSQ-RCO 在 AIME25 上保住的是基线的 94.64%。 4. 低位量化会想得更久 每道题上限 32K token，想太久没写完就算错。8-bit 版有 1.48% 的答案被截断，最小的 UD-IQ1_S 是 4.15%，GSQ-RCO IQ1_M 是 4.69%。 用 1-bit、2-bit 量化，推理预算要留宽一点，有一部分丢分只是没写完。 除了跑分，Unsloth 还看 KLD，也就是量化版和原版在下一个 token 上的概率分布差多远。KLD 是 0，输出就和原版完全一样。 它不受采样运气影响，但量的是一步一步的偏差，长推理里一路累积下来的影响，还得靠跑分看。 同样大小放在一起比，Unsloth 的 UD-IQ1_M 是 250.4 GB，六项平均 85.55。GSQ-RCO 的 IQ2_XXS 是 248.8 GB，平均 83.68。 Unsloth 自己也发量化版，等于对手测对手。我更看重的是它把方法全写出来了：题目版本、随机种子、每题跑几遍、怎么判分，都能照着复现。 以后看量化跑分，我先看三样： 1. 每道题跑了几遍 2. 基线是不是用同一套方法测的 3. 有没有 KLD 或 top-1 一致率 Unsloth 的完整表格和 GSQ-RCO 模型卡链接放在第 2 条。

曝光 358 · 评论 5 · 点赞 3 · 书签 0