除了大模型训练需要扫描大量实体书，长篇研报 AI 解读等场景需要超长文档 OCR 解析能力。 不得不说，OCR 技术最强的一直是百度文心。 第一代 Unli… · @vista8 · TwKit

@vista8

除了大模型训练需要扫描大量实体书，长篇研报 AI 解读等场景需要超长文档 OCR 解析能力。 不得不说，OCR 技术最强的一直是百度文心。 第一代 Unlimited OCR 今年 6.22 发布后，第二天就登顶 GitHub Daily Trending 总榜， GitHub Star 5天破1万。 在 Hugging Face 上的累计下载量也突破了 1000 万次。 传统 OCR 一次一页，多页靠拼接，上代 Unlimited OCR 实现连续解析数十页。 这次文心 Unlimited OCR 2 发布更狠，直接实现任意页数解析。 如何做到的，原理是啥？ 文心 Unlimited OCR 2 的技术叫 SR-SWA，中文叫稀疏参考滑动窗口注意力机制。 技术灵感竟来源于人类抄厚书的过程。 人逐页抄写文本时，注意力集中在当前页，回看往往只发生在跨页引用时。 不会、也不可能把整本书的内容保持在活跃注意力中。 这揭示了一个特性：跨页面的依赖关系具有稀疏性，而页面内部的信息关联则高度集中。 标准全局稠密注意力机制忽略了这种稀疏性，冗余注意力交互带来高额计算开销，文档长度增加会造成严重的内存瓶颈。 SR-SWA 怎么把这种“抄书习惯”用起来？关键是两步：先缩小参考范围，再挑出最值得参考的信息。 Page Gate（页面门控）先划范围 它把每次解码需要参考的视觉信息，从整本文档缩小到相关页面，并通过页面位置编码，帮助模型区分不同页面的位置，支持跨页信息的关联。 就像抄书时需要回看，先知道该翻到哪几页。 Token Sieve（Token 筛选器）再挑重点 它将候选视觉信息划分成固定大小的 Token 桶，按与当前内容的相关程度打分，只选取得分最高的 k 个远程 Token 桶参与参考。 相当于翻到相关页后，再挑出值得细看的区域，不必把所有历史视觉信息重新算一遍。 文心 Unlimited OCR 2 就这样让机器感知方式与人类阅读模式保持一致：重点看当前页，需要时再参考远处的相关视觉信息，让每一步解码的计算开销不再随着文档变长而不断增加。 实测视频、论文、开源模型地址见第二条

曝光 1974 · 评论 10 · 点赞 11 · 书签 9