一、 小米 OCR 仓库核心概况 GitHub 仓库：SeerRay-Lab/Xiaomi-OCR-0 https://github.com/SeerRay… · @cfenghub · TwKit

@cfenghub

一、 小米 OCR 仓库核心概况 GitHub 仓库：SeerRay-Lab/Xiaomi-OCR-0 https://github.com/SeerRay-Lab/Xiaomi-OCR-0 模型权重：Hugging Face 上的 SeerRay-Lab/Xiaomi-OCR-0 本质定位：它不是传统的“检测+识别”纯 OCR 工具，而是一个 0.8B（8 亿参数）的多模态文档理解大模型（VLM），底层基于Qwen3.5-0.8B 深度微调与强化学习重构。 核心功能： 1. 文档全要素解析：整页文档输入，直接端到端输出排版结构完整的 Markdown（包含 LaTeX 数学公式、HTML/OTSL复杂表格）。 2. KIE（关键信息提取）：支持 Prompt 指令直接将票据、合同提取为指定的 结构化 JSON。 3. OCR-VQA（文档视觉问答）：直接针对图中的文字内容提问并回答。 4. 工程配套：官方不仅开源了模型，还自带了 MCP 服务（Model Context Protocol） 和 Agent Skill。 二、 选型建议： • 如果要“读懂文档”（论文转 Markdown、表格还原、试卷公式识别、发票合同提字段）👉 Xiaomi-OCR-0 完胜 PaddleOCR。 • 如果要“极速扫字 / 自动化定位”（实时视频抽帧、网页/桌面 UI 自动化点击定位、低配 CPU/边缘设备高并发流水线）👉 PaddleOCR 依然不可替代。 三、 他有没有 ONNX 版本？ 1. 官方原生现状： 官方仓库目前尚未直接提供打包好的 .onnx 单文件权重，官方主推的是 PyTorch/Hugging Face 原生推理环境。 2. 能否自己转 ONNX？ 由于它是 Qwen3.5 架构的视觉大模型（Vision Encoder + LLM Decoder 带 KV-Cache），转 ONNX比较繁琐（需要拆成视觉投影和自回归解码两个 ONNX 图，且对ONNX Runtime GenAI 依赖较高）。 3. 更推荐的本地轻量化替代方案（GGUF / Ollama 已有）： 社区（如 richardyoung）已经在 Hugging Face 上发布了 GGUF 格式（包含配套的 mmproj 视觉投影文件）。 如果想在本地脱离显卡/轻量化运行，建议直接使用 Ollama 或 llama.cpp： ollama run richardyoung/xiaomi-ocr-0 https://x.com/XiaomiTech_/status/2116154468358316380/video/1

曝光 71 · 评论 0 · 点赞 0 · 书签 0