Après la diffusion, une autre voie s’ouvre pour générer des images avec l’IA

Une équipe du MIT, de Harvard et de l'UIUC présente TEM, une architecture générative fondée sur l'énergie, capable de rivaliser avec certains modèles de diffusion.

Et si la prochaine évolution de la génération d'images ne reposait pas uniquement sur les modèles de diffusion ? Des chercheurs du MIT, de Harvard et de l'université de l'Illinois à Urbana-Champaign viennent de présenter une architecture baptisée Transformer Energy-Based Model (TEM), capable de produire des images de haute qualité à partir d'une approche probabiliste différente. Leurs résultats montrent que des modèles fondés sur l'énergie, longtemps limités par des difficultés d'entraînement et de passage à l'échelle, peuvent désormais rivaliser avec plusieurs architectures de diffusion dans des conditions expérimentales comparables.

Présentée dans l'étude Scaling Transformer Energy-Based Models for High Quality Image Synthesis, publiée le 22 octobre 2026, cette recherche est signée Jungsoo Lee, Alexi Gladstone et Yilun Du. Elle s'accompagne d'une page de démonstration interactive et d'une implémentation accessible sur GitHub. Apprendre à reconnaître une bonne image plutôt qu'à la reconstruire

Les modèles de diffusion génèrent généralement une image en partant d'une représentation bruitée, puis en suivant une succession d'étapes destinées à retrouver une structure cohérente. Les modèles fondés sur l'énergie, ou Energy-Based Models (EBM), adoptent une autre approche : ils apprennent à attribuer une valeur numérique à chaque configuration visuelle.

Cette valeur, appelée énergie, est plus faible pour les images correspondant aux caractéristiques des données d'entraînement et plus élevée pour celles qui s'en éloignent. La génération consiste alors à partir d'un bruit aléatoire et à modifier progressivement cette représentation pour atteindre une région de faible énergie.

La distinction est importante. Plutôt que d'apprendre exclusivement une trajectoire de génération, le modèle apprend une fonction qui permet d'évaluer les configurations possibles. Cette séparation autorise différents procédés de génération, des ajustements pendant l'inférence et la combinaison de plusieurs contraintes visuelles.

Le principe existe depuis plusieurs décennies, mais les modèles EBM ont rencontré des difficultés majeures lorsqu'il s'agissait de produire des images complexes. Leur entraînement pouvait devenir instable, tandis que la recherche de configurations de faible énergie exigeait des calculs importants. TEM cherche précisément à lever ces obstacles. Une architecture Transformer pour passer à l'échelle

La solution proposée repose sur un Transformer visuel capable de traiter les représentations latentes d'une image, c'est-à-dire des informations compressées qui conservent sa structure essentielle.

L'originalité de TEM tient notamment à l'utilisation de plusieurs fonctions d'énergie réparties à différentes profondeurs du réseau. Les premières couches contribuent à l'apprentissage des textures locales, les couches intermédiaires à l'organisation des objets, tandis que les dernières capturent des caractéristiques sémantiques plus générales.

Ces évaluations sont ensuite additionnées pour former une fonction d'énergie commune. Le modèle peut ainsi prendre en compte plusieurs niveaux de cohérence au cours de la génération.

Les chercheurs introduisent également une méthode appelée Positive Representation Alignment (PRA). Elle consiste à rapprocher certaines représentations internes de TEM de celles produites par un modèle de vision préentraîné, DINOv2, uniquement pour les véritables images utilisées pendant l'apprentissage.

Cette restriction joue un rôle important. Les images artificielles encore imparfaites ne sont pas soumises au même alignement, afin de préserver le mécanisme contrastif qui distingue les données réelles des échantillons générés.

Les résultats des expériences d'ablation montrent l'intérêt de cette technique. Sur une configuration intermédiaire, le score FID passe de 42,8 sans alignement à 19,9 avec PRA après 50 000 étapes d'entraînement. Dans ce test, une valeur plus faible correspond à une meilleure proximité statistique entre les images générées et les images de référence. Des résultats compétitifs face aux modèles de diffusion

Sur ImageNet, un jeu de données couramment utilisé pour évaluer les modèles visuels, la version TEM-XL atteint un score FID-50K de 3,82 en génération conditionnée par catégorie à une résolution de 256 × 256. À 512 × 512, elle obtient un score de 8,24.

Le modèle compte environ 609 millions de paramètres et utilise 60 étapes de génération dans les évaluations principales. Il fonctionne sans classifier-free guidance, une technique employée par de nombreux systèmes de diffusion pour renforcer le respect des conditions de génération.

Dans les comparaisons publiées par les chercheurs, TEM-XL obtient un meilleur score FID sans guidance que plusieurs architectures de référence, notamment DiT-XL, SiT-XL et SiT-XL avec REPA. Les courbes présentées indiquent également une progression favorable lorsque les ressources d'entraînement augmentent.

Ces performances ne signifient toutefois pas que TEM surpasse tous les modèles de diffusion existants. Certaines architectures comparées obtiennent des résultats supérieurs lorsqu'elles utilisent des mécanismes de guidance. Les expériences portent aussi sur la génération d'images conditionnée par catégories ImageNet, et non sur un système généraliste de création à partir de descriptions textuelles complexes.

L'intérêt du travail réside donc moins dans un nouveau record absolu que dans la démonstration qu'une famille de modèles historiquement difficile à entraîner peut atteindre un niveau compétitif à des résolutions plus élevées. Composer des images en additionnant des contraintes

L'une des propriétés les plus intéressantes des modèles fondés sur l'énergie concerne la génération compositionnelle. Si un modèle sait représenter différentes catégories visuelles par des fonctions d'énergie, il devient possible de les combiner par addition pour chercher une image satisfaisant plusieurs conditions simultanément.

Sur la démonstration du projet, les chercheurs