视觉 token 剪得越狠，越怕删掉真正改变答案的那几个。CausalPrune 不只看注意力，而是估计移除每个 token 对输出的反事实影响 https… · @vintcessun · TwKit

@vintcessun

视觉 token 剪得越狠，越怕删掉真正改变答案的那几个。CausalPrune 不只看注意力，而是估计移除每个 token 对输出的反事实影响 https://arxiv.org/abs/2611.00058 它用一阶近似降低逐个计算反事实的成本，再结合反向门控调整混杂因素，并按层拆分直接与间接影响，逐步剪枝。论文在多种视觉语言模型上报告 FLOPs 和预填充延迟下降，表现相近或更好。工程价值在于压低推理开销；但一阶近似在极端剪枝下可能失准，视频时序也尚未纳入因果建模。

曝光 71 · 评论 1 · 点赞 1 · 书签 1