推文

@kafkaup · 2026-10-17 01:49

📄 MC-Sparse: Deconstructing and Closing the Dense-Sparse Attention Gap in Diffusion Transformers 概述：MC-Sparse是一种无需训练的扩散变换器稀疏注意力框架，通过逐个选择键值词元并缓存跨步骤元数据，在视频与3D生成任务中据称以可忽略的质量损失实现显著的去噪加速。 核心贡献：该论文最主要的贡献是提出元缓存稀疏注意力（MC-Sparse），它在选择单个键值词元的同时将相似查询组织为瓦片对齐分组，并跨去噪步骤缓存和复用元数据以提升效率与保真度。 实验结果：作者报告称，相较于密集注意力，MC-Sparse在Minimax-H3-Base上实现了1.80倍的去噪加速，在3D资产生成任务上实现了2.32倍的加速，且质量损失均可忽略，但这些数字均为论文作者自述，未经本摘要独立验证。

曝光 82 · 评论 2 · 点赞 0 · 书签 0