Самый дорогой абзац в проекте с документами — не «сделайте распознавание», а «а почему в итоговой таблице пропала одна цифра». Дальше полдня уходит на поиск звена, где она потерялась.
Я Дима, программист студии «Пятый в чате». Заказы с PDF мы начинали с одинакового пайплайна, и почти каждый раз он обрастал костылями. Поэтому Xiaomi-OCR-0 я читал не как «ещё одну модель», а как «что отсюда можно выкинуть».
Как было
Страница рендерится в картинку, детектор раскладки режет её на блоки, OCR читает каждый, отдельные модели разбирают таблицы и формулы, языковая модель собирает Markdown. Пять компонентов, у каждого свой формат ошибки: потерянная граница ячейки, склеенные абзацы, «О» вместо нуля. Текст вроде есть, но доверять ему нельзя, пока человек не сверит таблицы глазами.
Что предлагает Xiaomi
Один чекпойнт на 0,8 млрд параметров, дообученный от Qwen3.5-0.8B-Base на примерно 170 млн примеров. Выдаёт страницу в Markdown, таблицы — в HTML, формулы — в LaTeX, достаёт поля в JSON (KIE), отвечает на вопросы по картинке. Лицензия Apache 2.0, веса и код открыты.
Режимов два: целиком end2end или двумя ступенями — PP-DocLayoutV3 находит области, модель распознаёт каждую. В репозитории есть MCP-сервер, Agent Skill и демо, запуск локальный через vLLM или SGLang, для Ollama — экспериментальная сборка BF16.
Что это меняет у нас
Уходит отдельный сервис под таблицы и формулы — тот, который мы латали вручную. Вместо трёх моделей и склейки остаётся один чекпойнт и, если нужно, детектор раскладки. Ошибка живёт в одном месте: ячейка поехала — значит, есть конкретный вход и конкретный выход, а не «где-то между OCR и парсером». Для заказчика это не красота архитектуры, а приёмка документов, которая перестаёт быть работой на вечер.
Чего в анонсе не сказали
- 96,83 на OmniDocBench v1.6 — второе место, у TeleOCR 96,87. Разница 0,04 балла меньше шума между прогонами: «почти догнала» — честно, «обошла» — нет.
- Первое место — на Real5-OmniDocBench, 95,24. Это другой набор: сканы, перекошенные и переснятые страницы, а не чистые PDF.
- 83,2 по пяти OCR-VQA против 80,9 у Qwen3.5-2B — победа на узких документных тестах, не на общих задачах.
- GGUF-сборки от сообщества Xiaomi не проверяла: баллы относятся к оригинальным весам.
- 0,8 млрд не заменят большую модель там, где нужен вывод по смыслу договора: читать документ и понимать его — разные задачи.
Итог
Я бы держал в голове не «малышка обошла слонов», а «исчез отдельный сервис». Экономия не в токенах и не в облаке, а в количестве мест, где документ может сломаться. Если в проде уже стоит связка OCR плюс парсер таблиц, прогоните через Xiaomi-OCR-0 десяток своих худших страниц — не чтобы сразу заменить, а чтобы увидеть, сколько костылей держится на старом пайплайне.