读 2.83% 的 key 就够了
@yibie · 2026-10-10 11:39
一个 18 岁大学生，用一台 iPhone 16e 和 Kaggle 笔记本，做出了一个读 2.83% 的 key、还能保住 92.1% 准确率的稀疏注意力机制——代价是它现在比稠密注意力慢 10 倍，因为还没做 kernel 优化。
曝光 779 · 评论 0 · 点赞 2 · 书签 2
@yibie · 2026-10-10 11:39
一个 18 岁大学生，用一台 iPhone 16e 和 Kaggle 笔记本，做出了一个读 2.83% 的 key、还能保住 92.1% 准确率的稀疏注意力机制——代价是它现在比稠密注意力慢 10 倍，因为还没做 kernel 优化。
曝光 779 · 评论 0 · 点赞 2 · 书签 2