Générer du texte sans avancer mot par mot, la piste explorée par Stanford

Avec Next-Concept Modeling, des chercheurs de Stanford génèrent du texte par niveaux de détail, jusqu'à 31 fois plus vite que certains modèles de diffusion.

Un modèle de langage qui commence par construire une représentation générale de son texte, puis en précise progressivement les détails, plutôt que de rédiger chaque mot dans l'ordre. C'est le principe de Next-Concept Modeling (NCM), une méthode développée par une équipe de chercheurs de Stanford et de Together AI. Dans leurs expérimentations, cette approche atteint une génération jusqu'à 31 fois plus rapide que certains modèles de langage par diffusion, à qualité comparable, tout en nécessitant moins de données d'entraînement.

Les travaux, menés notamment par Hermann Kumbong et Ishan S. Khare, sont documentés dans une publication scientifique et accompagnés d'un code source public, de modèles préentraînés et de jeux de données. Ils examinent une autre manière de produire du langage, située entre la génération autorégressive traditionnelle et les modèles qui construisent leurs réponses par raffinements successifs. Sortir de la génération mot après mot

La majorité des grands modèles de langage fonctionnent de manière autorégressive. Ils prédisent un token, l'ajoutent à la séquence, puis utilisent ce nouveau contexte pour prédire le suivant. Cette dépendance séquentielle constitue une contrainte lorsque les réponses deviennent longues : chaque nouvelle étape attend le résultat de la précédente.

Les modèles de langage par diffusion explorent une autre méthode. Ils peuvent prédire ou corriger plusieurs tokens simultanément, mais doivent souvent répéter cette opération sur l'ensemble de la séquence. Réduire le nombre d'itérations accélère la génération, au risque de dégrader la qualité du texte obtenu.

NCM modifie le problème à sa source. Au lieu de générer directement les tokens définitifs, le système construit une hiérarchie de représentations discrètes, des informations les plus générales aux détails les plus fins. Chaque niveau est produit après le précédent, mais tous les codes appartenant à un même niveau sont prédits en parallèle.

Cette organisation réduit le nombre d'étapes successives et évite de traiter une séquence complète dès les premières opérations. Le texte n'apparaît plus comme une succession linéaire de mots, mais comme une représentation progressivement reconstruite. Une architecture qui emprunte aux modèles d'image

La méthode repose sur deux phases d'entraînement. Dans la première, un autoencodeur multirésolution de type VQ-VAE apprend à convertir un texte en plusieurs niveaux de codes discrets. Les premiers niveaux sont courts et contiennent une représentation approximative du contenu. Les suivants ajoutent les informations nécessaires à une restitution plus précise.

Ce mécanisme s'inspire notamment des travaux sur la génération d'images Visual Autoregressive Modeling (VAR), où la composition d'une image est construite progressivement, des grandes structures aux détails.

Dans la seconde phase, les chercheurs figent cet encodeur et entraînent un Transformer à prédire les différents niveaux. Pendant la génération, il produit tous les codes d'un niveau en parallèle, puis passe au suivant. Le décodeur reconstitue le texte à partir de la représentation complète.

L'équipe illustre ce fonctionnement par une traduction de l'allemand vers l'anglais. Aux premières étapes, le résultat comprend déjà certains éléments du sens de la phrase, mais conserve des répétitions et des erreurs. Les niveaux suivants corrigent progressivement les formulations jusqu'à obtenir une phrase cohérente. Cette évolution est visible dans la démonstration interactive publiée par Stanford.

Le terme « concept » ne désigne cependant pas ici une idée explicitement formulée ou un raisonnement symbolique. Il renvoie aux informations encodées dans les premiers niveaux de représentation appris par le modèle. Jusqu'à 31 fois plus rapide dans les évaluations

Les chercheurs ont testé NCM sur plusieurs familles de tâches, notamment la génération libre de texte, la traduction, le résumé et la résolution de Sudoku.

Sur One Billion Word (LM1B), NCM obtient une perplexité générative inférieure à celle du meilleur modèle de diffusion retenu comme référence, tout en générant du texte 21 fois plus rapidement. Sur OpenWebText, il atteint une qualité comparable avec une génération 10 fois plus rapide.

L'écart le plus important apparaît sur XSum, un jeu de données consacré au résumé de textes. À score ROUGE-L comparable, NCM se révèle 31 fois plus rapide que le modèle de diffusion de référence. Les mesures de temps ont été effectuées sur un GPU NVIDIA H100 SXM de 80 Go, dans les conditions décrites par les auteurs.

Ces accélérations proviennent de deux facteurs. NCM nécessite moins d'évaluations successives du modèle, mais chacune des premières étapes traite également une représentation plus courte, donc moins coûteuse à calculer.

Les résultats ne constituent pas une comparaison générale avec les grands modèles conversationnels commerciaux. Les expériences principales portent sur des modèles de taille relativement modeste, d'environ 100 millions de paramètres selon les tâches, et sur des benchmarks ciblés. Les gains annoncés concernent des architectures et des protocoles de comparaison précis. Des résultats également mesurés sur le raisonnement

Le Sudoku constitue un autre terrain d'évaluation, car une grille résolue doit satisfaire simultanément plusieurs contraintes : chaque ligne, chaque colonne et chaque bloc doivent contenir les bons chiffres.

Sur les grilles les plus difficiles, NCM résout intégralement 86,1 % des puzzles, contre 81,3 % pour FMLM+, le modèle concurrent le plus performant dans cette comparaison. Il obtient ce résultat avec 12 évaluations du modèle, contre 16 pour FMLM+.

Les performances restent également supérieures sur les grilles faciles et intermédiaires. Les chercheurs associent ces résultats à la capacité du modèle à travailler sur une représentation globale de la solution, plutôt qu'à fixer les chiffres successivement sans pouvoir revenir sur les décisions précédentes.

L'étude ne démontre toutefois pas que NCM dispose