比量化版本，tok/s 只是一半，另一半是修好一个 bug 要多少 token、多少分钟。 有一组测试很实在。9 个真实的回归 bug，来自一个 C++/C… · @wei_wang · TwKit

@wei_wang

比量化版本，tok/s 只是一半，另一半是修好一个 bug 要多少 token、多少分钟。 有一组测试很实在。9 个真实的回归 bug，来自一个 C++/CUDA 推理引擎的私有提交历史，从没公开过。agent 只能读代码找原因、写补丁，不能编译运行，每题跑 3 轮，Claude Opus 5 盲评打分。 本地模型跑在两张 RTX 5070 Ti 上，用 OpenCode，Claude 用 Claude Code。 Qwen3.8-27B 的 3-bit 和 NVFP4 比，分数差 0.05，在误差范围内。可 3-bit 每题多用 40% 的 token。它 decode 更快，153 对 132 tok/s，每题却要 18 分钟，NVFP4 是 13 分钟。其中一部分是 3-bit prefill 慢，修好后重跑还是多 30% 的 token。 Flash-Next 只把专家压到 3 bit，分数差 0.02，token 只多 3%，基本没损失。 和 Claude 放一起，Flash-Next NVFP4 拿 0.50，和 Haiku 5.5 的 0.47 一档，高于 Sonnet 5 的 0.28。Sonnet 5.5 是 0.58，每题只用 8k token、1 分钟左右，Flash-Next 要 53k token、10 分钟。Opus 5.5 拿 0.74，领先所有模型。 只有 9 题，置信区间大约 ±0.2，差距在 0.1 以内基本算打平。 自己挑量化，可以拿手头真实任务记三样：做对没有、用了多少 token、花了几分钟。

曝光 276 · 评论 1 · 点赞 3 · 书签 0