LlamaIndex améliore la lecture des tableaux et graphiques complexes avec un modèle de 4 milliards de paramètres

OCRia-1 améliore l’extraction des tableaux, graphiques et formules des PDF. Le modèle de LlamaIndex atteint 87,4 sur ParseBench.

Un tableau financier mal retranscrit peut déplacer une valeur dans la mauvaise colonne sans produire d'erreur apparente. Dans un contrat d'assurance, une limite de garantie peut se retrouver associée à la mauvaise catégorie. Ces décalages deviennent particulièrement problématiques lorsque les documents sont ensuite confiés à des agents d'intelligence artificielle, qui utilisent les informations extraites pour effectuer des recherches, produire des analyses ou préparer des décisions. LlamaIndex cherche à réduire ces erreurs avec OCRia-1, un modèle de vision et de langage de quatre milliards de paramètres spécialisé dans la lecture de documents complexes. Intégré à LlamaParse, il obtient un score de 87,4 sur ParseBench, devant les autres modèles de parsing comparés dans l'étude, tout en proposant des optimisations destinées au traitement de volumes documentaires importants. Lire un document ne consiste pas seulement à reconnaître ses caractères

La reconnaissance optique de caractères, ou OCR, transforme le texte présent dans une image ou un document numérisé en contenu exploitable. Mais reconnaître correctement des mots ne suffit pas pour reconstruire la structure d'une page. Un PDF peut contenir plusieurs colonnes, des tableaux imbriqués, des annotations, des équations ou des graphiques dont la signification dépend directement de leur disposition.

Les documents créés numériquement ne résolvent pas toujours ce problème. Leur couche de texte permet de récupérer des caractères et leurs positions, sans nécessairement indiquer quels éléments forment un titre, un paragraphe ou l'en-tête d'un tableau. Les documents scannés ajoutent des difficultés liées à la résolution, à la qualité de l'impression et à l'absence de texte directement accessible.

OCRia-1 traite ces informations à partir d'une représentation visuelle de la page. Il produit principalement du Markdown, tout en utilisant du HTML pour conserver les structures tabulaires et du LaTeX pour retranscrire les expressions mathématiques. Un tableau comportant plusieurs niveaux d'en-têtes, par exemple, doit conserver les relations entre chaque intitulé et les valeurs correspondantes, plutôt que devenir une simple succession de lignes de texte.

Cette distinction intéresse les entreprises qui utilisent des systèmes de recherche documentaire ou des agents capables d'interroger des archives. Une erreur introduite au moment de l'extraction peut ensuite être reprise dans une réponse, un calcul ou un rapport, même si le modèle chargé de l'analyse fonctionne correctement. La reconstruction des tableaux au centre de l'entraînement

Les tableaux constituent l'un des principaux axes de développement d'OCRia-1. Le modèle est entraîné à reconnaître les cellules fusionnées, les en-têtes sur plusieurs lignes, les grilles irrégulières et les ensembles comportant plusieurs milliers de cellules. Ces structures sont fréquentes dans les documents comptables, les rapports réglementaires, les annexes statistiques et les dossiers d'assurance.

Sur la composante consacrée aux tableaux de ParseBench, OCRia-1 atteint 91,5 points, contre 89,2 pour Chandra-OCR-2, son concurrent le plus proche parmi les systèmes comparés. Sur la catégorie tableaux d'olmOCR-bench, il obtient 92,9 points, devant Chandra-OCR-2 à 92,1.

Le modèle prend également la tête de PulseBench-Tab, qui comprend 1 820 tableaux dans neuf langues, avec 84,1 points contre 82,4 pour les modèles suivants. Sur les catégories de tableaux longs du benchmark français fr-bench-pdf2md, il atteint respectivement 83,2 et 81,9 points.

Ces évaluations ne mesurent pas uniquement la présence des bons caractères. Elles cherchent aussi à déterminer si les cellules ont été replacées dans la bonne structure. Cette exigence est essentielle lorsqu'un document doit être exploité automatiquement : une valeur exacte, mais attribuée à la mauvaise colonne, reste une information erronée. Des graphiques transformés en données structurées

Les graphiques posent un problème différent. Leur contenu n'est pas nécessairement écrit sous forme de texte : il faut interpréter la hauteur d'une barre, suivre une courbe, identifier les axes et associer les données aux bonnes séries. Certains graphiques ne comportent même pas de valeurs numériques directement inscrites à côté des points.

OCRia-1 cherche à reconstruire ces informations sous forme de tableaux HTML. Plutôt que de produire uniquement une description générale d'un graphique, le modèle extrait les points de données et leur associe les lignes et colonnes nécessaires à leur interprétation.

Sur l'évaluation des graphiques de ParseBench, il obtient 85,1 points, contre 66,1 pour LightOnOCR-3-4B et 65,1 pour Chandra-OCR-2. L'écart de 19 points avec le deuxième modèle constitue l'un des résultats les plus marqués de l'étude.

Cette capacité concerne les rapports économiques, les publications scientifiques et les documents professionnels dans lesquels une information chiffrée est présentée exclusivement sous forme visuelle. Le modèle peut préparer ces données pour une analyse ultérieure, mais leur extraction demeure une estimation dépendant de la lisibilité du graphique, de ses échelles et de sa complexité. Les résultats du benchmark ne garantissent pas une restitution exacte de chaque valeur. Formules, exposants et annotations ne disparaissent plus systématiquement

La mise en forme d'un document peut porter une information aussi importante que le texte lui-même. Un exposant dans une formule, une note en indice, une mention barrée dans un contrat ou une case cochée dans un formulaire peuvent changer la signification du contenu extrait.

OCRia-1 est entraîné à préserver ces éléments. Il utilise les balises appropriées pour conserver les exposants, indices, passages soulignés ou barrés, et retranscrit les expressions mathématiques en LaTeX. Il cherche également à respecter l'ordre de lecture d'une page comportant plusieurs colonnes.

Sur la dimension dédiée à la mise en forme de ParseBench, le modèle obtient 83,4