开源模型性能进展：Qwen、Ming 3.0与本地推理 · 话题榜 · TwKit

@NFT_Chen

🤯逆天了！Qwen 3.8 27B注意力层被彻底击穿了！10M超长上下文下，Prefill注意力快72.4倍、Decode快42.5倍！端到端首token延迟砍到约1/9！ 闲置GPU的朋友注意了：把这个新方法丢给Claude/Codex，让它直接移植到Qwen 27B上！注意力算法“移植”已经被验证可行。 惊人之处： 🔹10M token（约1000万）超长上下文下，传统稀疏注意力有98%时间都在“找该看哪些token”，真正算注意力反而没那么贵 🔹新方法Latent Sparse Attention (LSA)：先把Key按“意思相近”聚类成层级结构，Query只看聚类中心，再挑最相关的几个桶去算。从“全扫”变成“树搜索” 🔹实测（Qwen-3.8-27B）：单层注意力Prefill快72.4倍，Decode快42.5倍！端到端首token延迟也能降到约1/9 🔹精度几乎不掉，甚至在RULER等长上下文任务上还略好一点 🔹只需要短蒸馏训练Indexer（基座模型冻结），就能套到现成模型上。Native训练版本也能跟上全注意力精度，还更快 🔹对GPU紧缺党意义巨大：超长上下文（百万级）不再需要堆满H100/H200才能跑，单卡/少量卡也能玩得起真正长上下文Agent 适配步骤： 1️⃣git clone 仓库后用 uv sync 安装（Python 3.12） 2️⃣官方已放出Qwen3.8-27B的蒸馏权重（d-lsa-weights-v1 release），直接下载即可 3️⃣用他们的SGLang fork镜像启动服务，挂载仓库+权重 4️⃣启动时加 --json-model-override-args '{"lsa": {"projections": "/maps/qwen38_27b.pt", "query_heads": "all"}}'（记得加 --disable-prefill-cuda-graph） 5️⃣想自己训练的话，跑 lsa distill targets → lsa distill train → export 即可（基座冻结，只训Indexer） 代码已开源，论文也在，谁有空闲卡先冲一波？ 
论文：https://arxiv.org/abs/2610.42147 
GitHub：https://github.com/Prefrontal-AI/latent-sparse-attention #Qwen #LSA #LongContext #AI #GPU #LocalLLM #注意力优化 #Qwen38 #阿里巴巴

@Wilf_Lin

懒猫他妈的真是绝了，去他们算力舱的模型广场下了一个qwen 3 ASR，测了一下发现不支持流式输出，然后研究了一下，他他妈的是pytorch部署的。

@oran_ge

有人发现只需要关闭 Qwen 的思考就能让其数学能力提升 6 倍。 根本不需要修改模型权重 😂

@neuronxwhite

别再拿显存当借口了。 开源引擎 Strata 昨天发了 0.2.10：8GB 显存的显卡也能跑满 128K 上下文。办法不玄，把 KV 缓存挪到内存里，代价是你得有 32 到 64GB 内存。这项目 9 月底才建库，MIT 协议，五周冲到 3.8 万星，5600 多次提交。 它主推把 Qwen3.8-Flash-Next 这个 125B 的 MoE 模型搬到家用电脑上，Windows 和 Linux 一键安装，本机起一个兼容 OpenAI 和 Anthropic 的 API，聊天、写代码、看图都能干。新版默认开了 DFlash2 投机解码，生成速度再快 1% 到 12%。 我的看法：本地模型的瓶颈正在从显存换成内存，下一个卡人的是办公本那 16GB。在意隐私的人，现在多了一个不用妥协的选项，这点比跑分有意思。 https://github.com/Niko1221/Strata 你站哪边：日常 AI 就该搬到本地跑，还是云端更强的模型仍然值得你把数据交出去？

@NFT_Chen

🚨重磅消息！DeepSeek V5 将首次全量用华为昇腾950训练，预计明年落地！DeepSeek V4.1 Pro已完成大量算子适配！ 核心信息： 🔹V5计划以昇腾950作为核心训练算力 🔹此前昇腾只做推理，V5是首个原生昇腾训练模型 🔹双方团队常驻杭州，V4.1 Pro阶段已完成大量算子适配与定制 里程碑意义：出口管制下英伟达供给受限，一旦跑通，将是国内顶级模型完整实现“国产芯片训练+推理”全链路。 来源：https://www.caiwennews.com/article/1681273.shtml #DeepSeek #DeepSeekV5 #华为昇腾 #昇腾950 #AI国产化 #国产算力 #梁文峰 #梁圣

@QwenAIFans

💥 一张 RTX 5090，Qwen3.8-27B 单路解码冲到 1220 tok/s。 日本开发者 YASAKANI 自测：定格无超频，同机比 MegaCapybara 大约快 1.9 倍。 温馨提示：作者自测，第三方复现和开源都还没来。 你更信视频，还是等复现？ 来源：@yasakani_dev👇