L'IA sait lire vos PDF. Xiaomi veut maintenant qu'elle les comprenne.

Avec Xiaomi-OCR-0, le constructeur chinois propose un modèle IA ouvert de 800 millions de paramètres capable de lire, structurer et interroger des documents complexes, avec des performances rivalisant avec des modèles bien plus volumineux.

Reconnaître les mots d'un document ne signifie pas nécessairement en comprendre le contenu. Une facture comporte des montants, des coordonnées et des informations fiscales. Un rapport scientifique mélange des paragraphes, des équations et des tableaux. Quant à une photographie de document, elle ajoute des problèmes de perspective, d'éclairage et de mise en page. Pour traiter correctement ces informations, une intelligence artificielle doit faire davantage que retranscrire les caractères qu'elle distingue. C'est précisément le terrain sur lequel Xiaomi entend se positionner avec Xiaomi-OCR-0, un modèle de seulement 800 millions de paramètres spécialisé dans la compréhension documentaire.

Le constructeur chinois revendique des performances comparables à celles de modèles beaucoup plus imposants, avec un score de 95,24 sur Real5-OmniDocBench et une moyenne de 83,2 sur cinq évaluations de questions-réponses visuelles. La publication des poids, du code d'inférence et des outils d'intégration permet également aux développeurs de tester cette approche dans leurs propres environnements. Si Xiaomi remet le projet en avant dans une communication datée du 30 octobre, son rapport technique et les premiers poids du modèle avaient déjà été publiés fin septembre 2026. Lire un document, c'est aussi comprendre son organisation

La reconnaissance optique de caractères, généralement désignée par l'acronyme OCR, permet de convertir du texte présent dans une image ou un document numérisé en caractères exploitables. Cette technologie existe depuis plusieurs décennies, mais les besoins actuels dépassent largement la simple transcription. Les entreprises souhaitent retrouver des informations précises dans des milliers de documents, extraire des données structurées et permettre à des assistants IA d'exploiter des archives sans devoir les traiter manuellement.

Xiaomi-OCR-0 réunit trois grandes fonctions dans un même modèle. La première concerne l'analyse documentaire : il peut reconnaître les différents éléments d'une page, respecter leur ordre de lecture et produire une représentation structurée. La deuxième porte sur l'extraction d'informations, par exemple identifier le montant total, la date et le fournisseur d'une facture. La troisième permet de poser des questions sur le contenu d'un document et d'obtenir des réponses à partir des informations visuelles présentes.

Cette dernière capacité marque une différence importante avec une solution OCR traditionnelle. Au lieu de restituer uniquement le texte détecté, le modèle doit relier une question à l'information pertinente, comprendre la disposition des éléments et produire la réponse attendue. Un utilisateur peut ainsi demander quelle colonne d'un tableau correspond à une donnée particulière ou retrouver un renseignement dans un formulaire complexe.

Les sorties peuvent prendre plusieurs formes selon l'usage : Markdown pour reconstruire un document, LaTeX pour les formules mathématiques, représentations structurées pour les tableaux et JSON pour extraire des champs précis. Cette polyvalence est particulièrement intéressante pour les applications professionnelles qui doivent transformer des documents hétérogènes en données exploitables. 800 millions de paramètres, 170 millions d'exemples

Pour construire Xiaomi-OCR-0, les chercheurs sont partis de Qwen3.5-0.8B-Base, un modèle multimodal compact. Ils l'ont spécialisé à partir d'un corpus d'environ 170 millions d'échantillons consacrés à la reconnaissance et à la compréhension documentaire. Ce volume constitue l'un des aspects importants du projet : Xiaomi cherche à obtenir un modèle relativement léger grâce à un entraînement spécialisé de grande ampleur.

La méthode repose sur plusieurs étapes complémentaires. La première, baptisée Q-Mask, cherche à améliorer l'association entre les éléments textuels et leur emplacement dans l'image. Elle est suivie d'un préentraînement supplémentaire consacré aux documents, puis d'une phase d'apprentissage par renforcement combinant différentes tâches et des récompenses vérifiables.

Le défi ne consiste pas seulement à augmenter le nombre d'exemples. Encore faut-il disposer de données suffisamment fiables pour apprendre au modèle à reconnaître correctement des textes, des tableaux, des caractères inhabituels ou des expressions mathématiques. Xiaomi a donc développé un système de préparation des données faisant intervenir plusieurs modèles experts.

Ces systèmes produisent différentes interprétations d'un même document, qui sont ensuite comparées. Lorsque les résultats divergent, les annotations peuvent être reconstruites visuellement et confrontées au document original afin de repérer les erreurs. Des exemples synthétiques complètent le corpus, notamment pour renforcer les catégories insuffisamment représentées ou corriger des erreurs récurrentes observées pendant l'entraînement.

Cette démarche illustre une tendance importante dans la conception des petits modèles spécialisés : leurs performances dépendent autant de la qualité des données et du protocole d'apprentissage que de leur nombre de paramètres. Des résultats élevés, mais une première place à contextualiser

Xiaomi annonce un score de 96,83 sur OmniDocBench v1.6, une évaluation consacrée à l'analyse de documents comportant notamment du texte, des formules, des tableaux et des mises en page complexes. Dans les comparaisons publiées par l'équipe, le modèle dépasse plusieurs concurrents disposant d'un nombre de paramètres voisin, dont OvisOCR2 et PaddleOCR-VL-1.6.

Le score annoncé sur Real5-OmniDocBench atteint 95,24. Ce benchmark est particulièrement intéressant, car il évalue les performances sur des documents capturés dans des conditions moins idéales : numérisation, déformation, photographie d'écran, éclairage irrégulier ou inclinaison. Il cherche ainsi à reproduire certaines difficultés rencontrées lorsqu'un document provient d'un téléphone, d'un scanner ou d'une prise de vue imparfaite.

Une nuance importante apparaît toutefois dans les