🤯逆天了！Qwen 3.8 27B注意力层被彻底击穿了！10M超长上下文下，Prefill注意力快72.4倍、Decode快42.5倍！端到端首token延… · @NFT_Chen · TwKit

@NFT_Chen

🤯逆天了！Qwen 3.8 27B注意力层被彻底击穿了！10M超长上下文下，Prefill注意力快72.4倍、Decode快42.5倍！端到端首token延迟砍到约1/9！ 闲置GPU的朋友注意了：把这个新方法丢给Claude/Codex，让它直接移植到Qwen 27B上！注意力算法“移植”已经被验证可行。 惊人之处： 🔹10M token（约1000万）超长上下文下，传统稀疏注意力有98%时间都在“找该看哪些token”，真正算注意力反而没那么贵 🔹新方法Latent Sparse Attention (LSA)：先把Key按“意思相近”聚类成层级结构，Query只看聚类中心，再挑最相关的几个桶去算。从“全扫”变成“树搜索” 🔹实测（Qwen-3.8-27B）：单层注意力Prefill快72.4倍，Decode快42.5倍！端到端首token延迟也能降到约1/9 🔹精度几乎不掉，甚至在RULER等长上下文任务上还略好一点 🔹只需要短蒸馏训练Indexer（基座模型冻结），就能套到现成模型上。Native训练版本也能跟上全注意力精度，还更快 🔹对GPU紧缺党意义巨大：超长上下文（百万级）不再需要堆满H100/H200才能跑，单卡/少量卡也能玩得起真正长上下文Agent 适配步骤： 1️⃣git clone 仓库后用 uv sync 安装（Python 3.12） 2️⃣官方已放出Qwen3.8-27B的蒸馏权重（d-lsa-weights-v1 release），直接下载即可 3️⃣用他们的SGLang fork镜像启动服务，挂载仓库+权重 4️⃣启动时加 --json-model-override-args '{"lsa": {"projections": "/maps/qwen38_27b.pt", "query_heads": "all"}}'（记得加 --disable-prefill-cuda-graph） 5️⃣想自己训练的话，跑 lsa distill targets → lsa distill train → export 即可（基座冻结，只训Indexer） 代码已开源，论文也在，谁有空闲卡先冲一波？ 
论文：https://arxiv.org/abs/2610.42147 
GitHub：https://github.com/Prefrontal-AI/latent-sparse-attention #Qwen #LSA #LongContext #AI #GPU #LocalLLM #注意力优化 #Qwen38 #阿里巴巴

曝光 4981 · 评论 12 · 点赞 78 · 书签 96