SMD : Microsoft Research réduit la génération d'images et de vidéos à quatre étapes de diffusion

Microsoft Research présente SMD, une méthode de distillation qui accélère la génération d'images, de vidéos, d'audio et de 3D en quatre étapes.

Accélérer la génération d'images et de vidéos sans dégrader leur qualité reste l'un des principaux défis des modèles de diffusion. Ces systèmes construisent leurs résultats au fil de nombreuses étapes de calcul, dont la réduction peut provoquer des images moins détaillées, des mouvements incohérents ou une perte de diversité. Une équipe réunissant notamment des chercheurs de Microsoft Research, de l'université de New York et de la Hong Kong University of Science and Technology propose une autre approche avec Simplified Matching Distillation (SMD). Présentée dans une étude publiée en octobre 2026, cette méthode permet d'adapter des modèles existants pour générer des contenus en seulement quatre étapes, sans ajouter de réseau auxiliaire lors de l'inférence. Les chercheurs l'ont expérimentée sur la création et l'édition d'images, la vidéo, la génération audiovisuelle et la 3D, jusqu'à des modèles de 33 milliards de paramètres. Réduire les calculs sans reconstruire le modèle

Les modèles de diffusion et de flow matching partent généralement d'une représentation bruitée qu'ils transforment progressivement en image, en vidéo ou en autre contenu. Chaque étape affine le résultat à partir d'une nouvelle prédiction du modèle. Ce processus peut nécessiter plusieurs dizaines, voire plusieurs centaines d'évaluations successives du réseau, ce qui augmente le temps de génération et les besoins en calcul.

Pour accélérer cette procédure, les chercheurs utilisent la distillation : un modèle enseignant, capable de produire des résultats en de nombreuses étapes, sert à entraîner un modèle élève qui apprend à obtenir un résultat comparable avec beaucoup moins d'opérations. Le problème est que certaines méthodes existantes demandent elles-mêmes des architectures supplémentaires, des modèles auxiliaires chargés d'estimer des distributions ou des procédures d'entraînement complexes. Elles peuvent également réduire la diversité des résultats en favorisant un nombre limité de compositions.

SMD cherche à simplifier ce mécanisme en s'appuyant sur une régression des vitesses prédites par l'enseignant. Plutôt que de forcer l'élève à reproduire toute la trajectoire de génération, la méthode lui apprend à effectuer des transitions plus importantes en s'appuyant sur les prédictions locales du modèle d'origine. L'entraînement est dit on-policy parce que les observations utilisées pour guider l'élève proviennent de ses propres trajectoires de génération, et non seulement de trajectoires préparées par l'enseignant.

Cette première approche fonctionne déjà pour plusieurs modèles, mais les auteurs constatent des instabilités lorsque les trajectoires deviennent complexes, notamment en vidéo. Une transition trop large peut regrouper des mouvements locaux différents, au point de fournir à l'élève des indications contradictoires. C'est pour corriger cette difficulté que SMD introduit deux mécanismes complémentaires. Un apprentissage qui distingue les bons et les mauvais mouvements

Le premier mécanisme, appelé Pivot, est un petit réseau supplémentaire utilisé uniquement pendant l'entraînement. Son rôle consiste à représenter les variations locales au sein d'une grande étape de génération, tout en conservant le point d'arrivée prédit par l'élève. Ce dispositif permet d'apprendre des corrections plus fines sans obliger le modèle final à réaliser davantage de calculs lorsqu'il produit une image ou une vidéo.

Le second mécanisme repose sur une forme de répulsion. En plus de rapprocher les prédictions de l'élève de celles de l'enseignant, les chercheurs utilisent une prédiction volontairement moins favorable du même modèle comme référence négative. L'entraînement encourage alors l'élève à s'éloigner de cette référence tout en restant proche du résultat recherché. Cette méthode vise notamment à éviter certaines dégradations visuelles et à préserver la variété des générations, sans recourir à un entraînement adversarial.

Les deux mécanismes interviennent dans la phase d'apprentissage. Une fois le modèle distillé, Pivot et les prédictions de l'enseignant ne sont plus nécessaires. L'élève conserve son architecture de génération et effectue directement les quatre transitions prévues. Le projet ne propose donc pas un nouveau générateur universel : il fournit une méthode pour accélérer différents modèles préexistants, dont les architectures et les licences restent propres à chacun. FLUX.1 et Qwen-Image dépassent certains résultats obtenus en cinquante étapes

Les premières expérimentations portent sur deux modèles de génération d'images : FLUX.1-dev, avec 12 milliards de paramètres, et Qwen-Image, avec 20 milliards. Dans les deux cas, les chercheurs produisent une version capable de générer une image en quatre évaluations du réseau, puis la comparent à d'autres méthodes de distillation dans des conditions de test rapprochées.

Sur GenEval, une évaluation de la fidélité aux instructions et aux compositions demandées, la version SMD de FLUX.1-dev obtient 0,715, contre 0,675 pour π-Flow et 0,664 pour le modèle enseignant exécuté en cinquante évaluations. Sur DPG-Bench, elle atteint 84,8, également au-dessus des méthodes comparées. Ces résultats montrent qu'une distillation peut, dans certaines conditions, améliorer des mesures de qualité tout en réduisant fortement le nombre d'étapes.

Avec Qwen-Image, SMD atteint 0,873 sur GenEval et 88,7 sur DPG-Bench. Le modèle enseignant obtient 0,874 sur GenEval et 88,3 sur DPG-Bench. La version distillée présente également un meilleur score de restitution du texte dans OneIG-Bench-EN, avec 0,944 contre 0,889 pour l'enseignant. En revanche, les gains ne sont pas uniformes sur tous les critères : le score de diversité reste inférieur à celui du modèle d'origine.

Ces résultats sont issus des protocoles employés dans l'étude et ne doivent pas être interprétés comme une accélération garantie du même ordre dans toutes les applications. Quatre évaluations du réseau représentent une réduction considérable du travail d'inférence