DeepSeek-V4.1-Flash 的 EXL3-EAQ 量化出了 v1.1 实验版，改的是 sparse attention 里的 indexer。 … · @wei_wang · TwKit

@wei_wang

DeepSeek-V4.1-Flash 的 EXL3-EAQ 量化出了 v1.1 实验版，改的是 sparse attention 里的 indexer。 indexer 负责挑出哪些历史 token 要参与注意力。v1.1 把这条路整个留在 BF16，包括 indexer、共享的 query 投影和 compressor，权重只多 0.15 GB 左右。 单测 indexer，喂原模型的输入，16K 之后挑出来的 token 和原模型 100% 一致，v1 是 94.95%。 整个模型量化后一起跑，两版都在 73% 左右。前面的层量化以后，送进 indexer 的输入已经偏了，光把 indexer 留高精度补不回来。 2.9 bpw 这版整个仓库 210 GB 左右，两台 DGX Spark 分下来每台 105 GB，留给 KV cache 的不多。

曝光 146 · 评论 1 · 点赞 2 · 书签 0