Avec MOSS-Image, textes et objets se placent directement dans la composition
OpenMOSS publie MOSS-Image, un modèle de génération d'images à poids ouverts qui permet de positionner textes et objets grâce à des instructions JSON.
Plutôt que de demander à une intelligence artificielle de placer approximativement un titre au-dessus d'une illustration, pourquoi ne pas lui fournir directement les coordonnées des éléments à composer ? Avec MOSS-Image, OpenMOSS propose une famille de modèles de génération d'images conçue pour associer les instructions textuelles à un contrôle spatial structuré. Disponible en deux versions, Base et SFT, elle accepte les descriptions en langage naturel, les séquences de mots-clés et les mises en page définies au format JSON. Le projet se distingue notamment par la possibilité de préciser l'emplacement des textes et des objets, une fonction destinée à la création d'affiches, de documents visuels, de diagrammes et de compositions graphiques. Une génération d'images qui prend en compte la mise en page
La plupart des générateurs d'images permettent de décrire une composition avec des phrases.
Un utilisateur peut demander une affiche avec un titre centré, un personnage sur la gauche et une illustration dans la partie inférieure.
Mais ces indications restent soumises à l'interprétation du modèle. L'emplacement des éléments peut varier et les relations spatiales ne sont pas toujours respectées.
MOSS-Image introduit une autre méthode : décrire les éléments d'une image et préciser leurs positions dans une structure de données.
Le modèle accepte trois formes principales d'instructions : les descriptions en langage naturel, les séquences de tags et les mises en page JSON.
Dans ce dernier cas, l'utilisateur définit séparément le contexte général de l'image et les objets qui doivent apparaître.
Chaque élément peut recevoir une description, un type et une zone de positionnement.
Ce fonctionnement ne remplace pas les instructions créatives traditionnelles. Il leur ajoute un cadre destiné à mieux orienter la composition. Positionner les textes et les objets avec des coordonnées
Le contrôle spatial repose sur des zones rectangulaires appelées bounding boxes.
L'utilisateur peut décrire une affiche en précisant qu'un titre doit occuper le haut du document, qu'une illustration doit apparaître au centre et qu'un second texte doit être placé dans une autre région.
Ces indications sont enregistrées dans une structure JSON comprenant notamment les champs `summary` et `items`.
Le premier décrit le contexte général, les caractéristiques de la scène et le style souhaité.
Le second contient les éléments individuels, accompagnés de leur description et de leurs coordonnées.
Le format utilise des positions exprimées relativement au centre de l'image, avec des limites définies pour chaque zone.
Dans une démonstration publiée par OpenMOSS, le modèle produit une affiche touristique minimaliste avec le titre EXPLORE dans la partie supérieure et une illustration de montagne bleue au-dessous.
L'utilisateur peut modifier le texte, déplacer la zone de l'illustration ou changer la description d'un objet directement dans les données de composition.
Cette approche rapproche la génération d'images de certains principes utilisés dans les outils de mise en page, où chaque élément dispose d'un emplacement défini.
Le modèle conserve néanmoins une part d'interprétation générative. Les coordonnées servent à guider le résultat, sans garantir un placement géométrique parfaitement exact à chaque génération. Une attention particulière à la génération de texte dans les images
MOSS-Image met également l'accent sur la restitution des caractères et leur organisation dans une composition.
Cette capacité est importante pour les affiches, les présentations, les tableaux explicatifs ou les documents qui associent éléments graphiques et informations écrites.
Les modèles de génération visuelle peuvent produire des lettres déformées, modifier certains mots ou éprouver des difficultés lorsque plusieurs blocs de texte doivent coexister.
OpenMOSS présente MOSS-Image comme un système conçu pour améliorer cette précision, notamment avec des textes en anglais et en chinois.
Les démonstrations comprennent des compositions graphiques, des annotations et des éléments manuscrits.
Un exemple montre une note manuscrite en chinois fixée sur la porte d'un réfrigérateur, avec plusieurs lignes de texte intégrées à la scène.
La fonction JSON permet en parallèle de distinguer le texte à afficher de la description de son apparence ou de son emplacement.
Les exemples publiés illustrent les capacités du modèle, mais ne garantissent pas une reproduction parfaite de toutes les chaînes de caractères, particulièrement dans les compositions longues ou denses. Base et SFT : deux versions pour des besoins différents
La famille comprend deux modèles utilisant la même architecture et la même interface de génération.
MOSS-Image-Base correspond au modèle de base, destiné notamment à la recherche, à l'entraînement complémentaire et à la création de variantes adaptées à des besoins spécifiques.
MOSS-Image-SFT est une version affinée à partir du premier modèle, avec un entraînement supervisé supplémentaire sur des données sélectionnées.
Cette seconde version cherche à améliorer la qualité des générations directement exploitables.
OpenMOSS publie notamment une comparaison entre les deux variantes sur une composition de type tableau blanc.
Dans cet exemple, SFT produit une organisation plus lisible des blocs de texte et une structure visuelle plus cohérente.
Les deux versions prennent en charge les descriptions textuelles, les tags et les mises en page JSON.
Le choix dépend donc principalement de l'utilisation envisagée : expérimentation et adaptation du modèle pour Base, ou génération avec un affinage supplémentaire pour SFT. Un backbone de cinq milliards de paramètres
ModelScope présente MOSS-Image-Base comme un modèle de 8,56 milliards de paramètres, tandis que la documentation officielle d'OpenMOSS décrit un backbone génératif d'environ cinq milliards de paramètres.
Ces valeurs ne désignent pas nécessairement le même périmètre architectural.
Le projet repose sur un Transformer de diffusion, ou Diffusion Transformer,