LLaDA-Image apprend à générer avant de relier les mots aux images

InclusionAI publie LLaDA-Image, un modèle ouvert de génération et d’édition visuelles entraîné majoritairement avec des images seules, accompagné d’une version Turbo en quatre étapes.

Un générateur visuel doit-il commencer son apprentissage avec des images accompagnées de descriptions ? InclusionAI répond par la négative avec LLaDA-Image, une famille de modèles dont la représentation visuelle a été construite presque entièrement à partir d’images seules avant l’introduction de données associant texte et image.

Cette stratégie constitue la principale originalité du projet. Sur environ 220 millions d’exemples cumulés au cours de l’entraînement consacré à la génération, plus de 90 % reposent sur une supervision visuelle sans description correspondante. Les paires texte-image interviennent plus tard pour apprendre au système à relier des instructions aux représentations qu’il a déjà acquises.

L’objectif consiste à séparer deux apprentissages souvent menés simultanément. Le premier porte sur l’apparence du monde, la composition d’une scène, les formes, les matières, la lumière et les relations entre les objets. Le second relie ces connaissances aux mots employés par l’utilisateur.

Dans une méthode conventionnelle fondée sur des paires, la qualité du résultat dépend en partie de celle des légendes. Une description incomplète peut omettre un objet, attribuer une mauvaise propriété à un sujet ou réduire une scène complexe à quelques termes génériques. LLaDA-Image tente d’abord d’apprendre directement dans le domaine visuel, puis utilise les descriptions pour rendre cette représentation contrôlable par le langage.

« Image seule » ne signifie cependant pas que le modèle apprend sans aucun conditionnement. Pendant ses premières phases d’entraînement, une image est analysée par un module de compréhension visuelle. Une partie des informations produites est masquée, puis le générateur doit reconstruire les éléments manquants à partir du contexte restant.

Le système reçoit donc une forme de description visuelle issue de l’image elle-même. Cette opération lui permet d’apprendre la structure, le contenu et l’apparence d’une scène sans dépendre d’une légende rédigée ou produite automatiquement. Les auteurs présentent cette phase comme la construction d’un « prior visuel », auquel le langage est raccordé par la suite.

Le corpus est constitué à 98 % d’images réelles, selon le rapport technique. Les phases de préentraînement et d’entraînement intermédiaire n’emploient que ce type de contenu. Les données synthétiques apparaissent principalement pendant les étapes supervisées, notamment pour renforcer la production de textes intégrés aux images.

InclusionAI ne publie pas la liste exacte des sources employées. Le document mentionne des contenus collectés sur le Web et des ensembles organisés, puis filtrés selon leur format, leur qualité visuelle et leur valeur esthétique. Les images sont également soumises à des contrôles portant sur les filigranes, les informations privées et différents défauts.

Les descriptions utilisées pendant l’alignement linguistique ont été produites avec Qwen3.6-35B-A3B et Qwen3-VL-235B-A22B-Instruct. Elles ont ensuite été filtrées afin d’écarter les objets inventés, les relations erronées, les transcriptions incorrectes, les répétitions, les refus et les réponses mal formées.

Cette dépendance à des descriptions automatiques ne disparaît donc pas. Elle intervient simplement plus tard et sur une part réduite du volume total d’entraînement. Les paires restent indispensables pour transformer une représentation visuelle en système commandé par une instruction en anglais ou en chinois.

L’entraînement progresse également par niveaux de définition. Il commence avec un budget nominal de 256 × 256, passe à 512 × 512 avec plusieurs formats d’image, puis introduit l’alignement textuel à 512 × 512 et à 1 024 × 1 024. Des étapes spécialisées renforcent ensuite les portraits, les affiches, les publicités et les scènes contenant du texte.

Le générateur principal est un Diffusion Transformer, ou DiT, de 6 milliards de paramètres entraîné depuis le départ. Il reçoit dans une même séquence les informations de conditionnement et la représentation compressée de l’image à produire.

Autour de ce générateur, InclusionAI utilise un module de compréhension visuelle et linguistique gelé, construit à partir de LLaDA 2.0 Mini et d’un encodeur SigLIP-VQ. Un adaptateur nommé Residual Query Adapter transforme ses représentations avant de les transmettre au DiT.

Les deux grandes parties du système reposent ainsi sur des modèles de diffusion. LLaDA 2.0 Mini traite le langage selon cette famille d’architectures, tandis que le DiT produit les images par débruitage progressif. Elles demeurent toutefois deux composants distincts reliés par un adaptateur.

La mention d’un modèle de 6 milliards de paramètres doit également être interprétée avec précision. Elle décrit le DiT chargé de la génération. La fiche publiée sur Hugging Face classe le point de contrôle complet dans la catégorie des 7 milliards de paramètres et affiche un volume d’environ 49,3 Go en BF16, car l’ensemble distribué comprend d’autres modules nécessaires à son fonctionnement.

Le même générateur prend en charge la création à partir d’un texte et la modification d’une image existante. InclusionAI ne fournit pas un second modèle spécialisé pour l’édition. L’instruction textuelle suit le chemin linguistique habituel, tandis que l’image de référence emprunte une voie plus directe.

Cette image est convertie à la fois en informations sémantiques et en représentation visuelle détaillée. Les premières aident à préserver l’identité des sujets et la structure générale. La seconde conserve davantage de caractéristiques locales, comme les textures, l’arrière-plan et l’organisation de la composition.

Le modèle peut ainsi remplacer un objet, changer un vêtement, modifier un décor, ajouter du texte ou transformer un style en conservant les parties non visées par la demande. Cette architecture commune facilite le passage entre génération et édition, mais ne garantit pas que les deux tâches atteignent le même niveau.

Sur GEdit-Bench, qui rassemble 606 cas réels répartis