Avec 22 Mo, le modèle de vision Mirage transforme une image en données réutilisables

Le modèle Mirage de Cactus Compute repère les objets, lit le texte et produit des données qu’un modèle de langage peut exploiter.

Sur une photo de panneau stop, Mirage repère le panneau rouge, trace son contour et le relie au poteau qui le soutient. La reconnaissance de caractères transcrit « ARRÊT » avec le mauvais accent. Dans cet exemple publié par Cactus Compute, la position du panneau, sa forme et son inscription figurent dans des champs distincts. Une application peut afficher le contour au bon endroit, récupérer le texte ou parcourir les relations entre les objets à partir du même relevé.

C’est ce relevé qui distingue Mirage d’un modèle chargé de rédiger une légende. Une légende peut résumer la scène en omettant le poteau ou le texte. Mirage produit une description, mais fournit aussi les coordonnées, les contours et les liens entre les éléments détectés dans une réponse structurée au format JSON. Une application peut conserver ce résultat et l’interroger plusieurs fois sans relancer l’analyse de la photo pour chaque question. Du contour d’un objet à la lecture d’une étiquette

Mirage extrait d’abord une représentation de l’image, que plusieurs composants se partagent. Certains proposent des zones où se trouvent des objets ou du texte. D’autres délimitent les contours. Le décodeur de langage, lui, attribue des noms et décrit les relations entre les éléments. Dans la segmentation de Mirage, plusieurs objets réutilisent les mêmes informations visuelles pour construire leurs masques. Le décodeur peut alors désigner un objet par une référence courte, sans avoir à écrire toutes les coordonnées de son contour.

Pour lire une inscription, le module de reconnaissance de caractères revient à l’image d’origine et découpe la zone de texte. Une longue ligne est lue par morceaux qui se chevauchent, ce qui conserve le contexte autour des lettres situées à la jonction. La transcription est ensuite ajoutée au relevé séparément de la description. Une inscription peut ainsi figurer dans les données alors que le décodeur de langage l’a passée sous silence. Inversement, un score élevé pour la détection d’une zone renseigne sur son emplacement, sans garantir que le texte a été bien lu ou que l’objet a été correctement nommé.

Le fichier de déploiement des 51,3 millions de paramètres pèse 21,6 Mo. La plupart de ses matrices sont stockées sur 2 bits. D’après les mesures publiées pour le Galaxy S26, une analyse prend 74 ms sur la puce dédiée à l’IA et 107 ms sur le processeur principal du téléphone. Ces durées concernent Mirage seul. La démonstration exécute le modèle localement dans le navigateur, à partir d’une photo importée ou de la caméra. Les poids et la configuration sont distribués sous licence Apache 2.0. Ce que Qwen apprend en lisant le relevé

Dans l’essai mené sur un sous-ensemble de VQAv2, Cactus Compute sépare les deux tâches. Mirage analyse chacune des 128 images sans connaître les questions. Qwen3-0,6B, un modèle de langage textuel, reçoit ensuite les questions et, selon la variante testée, tout ou partie du relevé. Les 256 questions de l’évaluation portent sur des images distinctes de celles utilisées pour régler la consigne. Les deux modèles conservent leurs poids d’origine.

Avec la question seule, Qwen obtient 9,3 sur 100. Une description générale de la scène fait monter le score à 28,1. Le relevé détaillé, sans le commentaire que Mirage génère sur sa propre analyse, atteint 33,1. Avec ce commentaire, le score est de 31,3. L’écart entre ces deux dernières variantes ne suffit pas à établir un effet fiable du commentaire. Un autre contrôle est plus instructif. En donnant à Qwen le relevé complet d’une autre image, l’équipe obtient encore 22,2 sur 100. La comparaison entre relevés associés à la bonne image ou à la mauvaise isole mieux l’apport des observations pertinentes que le seul écart avec une question posée sans contexte.

Le score mesure l’accord avec des réponses humaines selon les règles de VQAv2. La formulation compte aussi. Une phrase complète qui exprime la même réponse qu’un simple « oui » peut recevoir zéro. Les cas publiés avec l’essai permettent de voir une autre limite. Sur une photo où figure un skateboard, Qwen devine juste à partir de la question seule. Mirage omet la planche et relève plusieurs voitures. Après lecture du relevé, Qwen répond « une voiture ». Sur une autre image, le relevé contient bien une antenne, mais Mirage prend le téléviseur pour une balance numérique. Qwen répond « antenne » à partir des champs structurés, puis reprend l’erreur de la balance quand il reçoit aussi le commentaire de Mirage.