英国 AI 研究机构 Prefrontal 与苏黎世联邦理工学院研究者开源了 Latent Sparse Attention（LSA），试图降低大模型处理超… · @0xLogicrw · TwKit

@0xLogicrw

英国 AI 研究机构 Prefrontal 与苏黎世联邦理工学院研究者开源了 Latent Sparse Attention（LSA），试图降低大模型处理超长上下文时的检索开销。 DeepSeek、MiniMax、智谱等模型已经采用稀疏注意力，每次只对少量关键 Token 计算注意力。但要找到这些 Token，许多现有方法仍需用轻量索引器扫描全部历史信息，逐个打分。有些方法会先把相邻 Token 压缩成块，减少比较次数，但通常仍要遍历所有信息块。研究团队在 1000 万 Token 的 GLM-5.3-Flash 实验中发现，单层稀疏注意力的预填充时间，有 98% 花在了寻找关键 Token 上。 LSA 按内容相似度将 Token 聚成组，即使相关信息分散在上下文不同位置，也能归入同一组。模型先比较各组的代表信息，再从相关分组中选出需要读取的 Token，减少逐个检查历史 Token 的计算。 研究团队将 LSA 接入 GLM-5.3-Flash 和 Qwen-3.8-27B，保留原有模型权重，只额外训练少量索引参数。在 NVIDIA H200 上，GLM 的单层预填充比原有稀疏注意力快 22.7 倍，整模型首 Token 延迟降低约 55%。Qwen 相比原有全注意力的单层预填充快 72.4 倍，整模型首 Token 延迟降低约 89%。 目前的高性能版本仍需扫描所有语义分组。研究团队还尝试让模型逐层缩小搜索范围，避免每次检查全部分组。在千万 Token 下，这种方法已经能加快生成阶段的索引检索，尤其适合多个请求同时运行。但预填充阶段尚未体现同等优势，长文本测试的准确率也有所下降。 在千万 Token 规模下，稀疏注意力已经能大幅减少需要处理的内容，但寻找这些内容仍然昂贵。LSA 通过语义分组降低了这部分开销；如果进一步解决多级检索的准确率问题，未来模型就有机会不必反复扫描全部历史信息，也能从数千万 Token 的上下文中找到需要的内容。

曝光 222 · 评论 1 · 点赞 3 · 书签 0