推文

@vintcessun · 2026-10-12 20:30

注意力头的剪枝，或许不该只看单头有多重要，还要看它在网络里扮演什么角色。 https://arxiv.org/abs/2610.12304 这篇论文把头间激活相似度连成加权图，发现小世界指数与流体推理表现正相关：关键头往往在社区内连接更紧，跨社区连接更集中。基于这两类特征，SWA 分层分配稀疏预算；在六个模型上，它比其他分配策略更能保留小世界结构与性能，WikiText 困惑度最高改善 20%。这是有用的压缩线索，但相关性还不能说明小世界结构带来了推理能力。

曝光 141 · 评论 3 · 点赞 4 · 书签 1 · 曝光/时 157.21301478658228