Tencent veut transformer la génération vidéo en mondes interactifs avec Hy-Nomas

Tencent publie Hy-Nomas, un modèle vidéo ouvert capable de générer des mondes interactifs contrôlés par texte et mouvements de caméra.

Une vidéo générée par intelligence artificielle suit généralement une séquence définie à l'avance. Modifier le déplacement d'un personnage, changer de point de vue ou revenir dans un décor impose souvent de relancer une génération. Avec Hy-Nomas, Tencent explore une autre approche : construire un environnement vidéo qui évolue au fil des interactions, tout en conservant les informations nécessaires à la continuité des scènes. Ce modèle ouvert de 8 milliards de paramètres permet d'intervenir successivement sur l'action, la caméra et l'apparence d'un univers généré. Il produit des séquences jusqu'à 60 secondes en 720p et peut fonctionner, dans une configuration optimisée, sur une seule carte graphique NVIDIA RTX 4090. Une vidéo qui évolue avec les instructions

Hy-Nomas appartient à la catégorie des world models, des systèmes qui cherchent à représenter l'évolution d'un environnement plutôt qu'à produire uniquement une succession d'images. Son fonctionnement repose sur une génération progressive : le modèle crée un premier segment vidéo, puis utilise les instructions suivantes pour poursuivre la scène à partir de ce qui existe déjà.

L'utilisateur peut demander à un personnage de réaliser une action, introduire un nouvel objet, modifier l'apparence d'un lieu ou changer le style visuel sans repartir systématiquement de zéro. Les instructions peuvent être formulées en langage naturel, au cours de plusieurs échanges, plutôt que limitées à une liste prédéfinie de commandes.

Les démonstrations publiées par Tencent montrent notamment un panda escaladant des piliers de pierre, un léopard des neiges évoluant dans un palais et un train traversant un tunnel glaciaire. D'autres exemples explorent des univers inspirés du jeu vidéo, de l'animation et de prises de vues réalistes. Ces scènes servent à illustrer la variété des instructions et des styles pris en charge.

La différence avec un générateur text-to-video classique tient à la possibilité de modifier la direction de la séquence au cours de sa création. Chaque nouvelle demande s'inscrit dans un environnement déjà commencé, même si le modèle continue de synthétiser les images plutôt que de faire fonctionner un moteur 3D traditionnel. Diriger les actions et les mouvements de caméra dans un même environnement

Le système combine deux formes de contrôle. La première repose sur des descriptions textuelles : l'utilisateur indique ce qui doit apparaître ou se produire dans la scène. La seconde utilise des trajectoires de caméra pour déterminer les changements de point de vue et les déplacements à l'intérieur de l'environnement généré.

Ces commandes peuvent être alternées au cours d'une même séquence. Il devient ainsi possible de demander une action, déplacer ensuite la caméra pour explorer le décor, puis revenir aux instructions textuelles afin de faire évoluer les personnages ou l'environnement.

Sur le plan technique, Hy-Nomas représente les trajectoires au moyen de matrices décrivant la position et l'orientation de la caméra. Le modèle les intègre à son processus de génération afin de guider le point de vue des images suivantes. Cette méthode offre un contrôle spatial plus explicite qu'une simple instruction telle que « avance vers la gauche » ou « tourne autour du personnage ».

Le contrôle reste néanmoins génératif. Hy-Nomas ne met pas à disposition un environnement tridimensionnel entièrement reconstruit, avec des objets éditables et une géométrie directement exploitable dans un moteur de jeu. Il produit une représentation vidéo conditionnée par les mouvements demandés. Une mémoire destinée à préserver les décors

La continuité constitue l'une des difficultés majeures des modèles vidéo interactifs. Lorsqu'une caméra quitte un lieu puis y revient, les éléments précédemment visibles peuvent avoir changé de forme, de position ou d'apparence. Pour limiter cette dérive, Tencent utilise une mémoire de génération fondée sur un cache de clés et de valeurs, appelé KV cache.

Ce mécanisme conserve des informations issues des segments précédents pour les rendre accessibles lors de la création des suivants. Le modèle peut ainsi s'appuyer sur l'historique de la vidéo lorsqu'il doit représenter un lieu déjà visité. Tencent présente plusieurs démonstrations dans lesquelles la caméra effectue un déplacement important avant de retrouver un décor, une cascade ou un élément architectural.

Hy-Nomas dispose d'une fenêtre de contexte annoncée à 360 000 tokens et sa configuration standard conserve l'historique des segments générés. Cette mémoire n'est cependant pas illimitée en pratique : son exploitation augmente les besoins matériels à mesure que la séquence s'allonge.

Dans la configuration destinée aux cartes graphiques disposant de moins de mémoire, le système conserve une portion limitée de l'historique sur le GPU et archive les informations plus anciennes dans la mémoire centrale. Ce compromis facilite le déploiement, mais ne garantit pas que chaque détail d'une scène restera parfaitement identique après un long déplacement ou de nombreuses interactions. Huit milliards de paramètres et une génération par segments

L'architecture de Hy-Nomas associe un transformeur de diffusion vidéo à un mécanisme autorégressif organisé par segments. Le modèle utilise 54 blocs multimodaux à double flux, chargés de traiter les informations textuelles et vidéo, auxquels s'ajoutent des modules spécialisés pour les trajectoires de caméra.

Les instructions passent par un encodeur fondé sur Qwen2.5-VL-7B-Instruct. Les images, de leur côté, sont représentées dans un espace latent compressé avant d'être reconstruites par un décodeur vidéo PixelUMM adapté. Cette organisation permet de travailler sur des représentations plus compactes que les images complètes, tout en conservant la possibilité de produire une séquence détaillée à la sortie.

Tencent utilise également une version distillée du modèle qui réduit le processus de génération à huit étapes de débruitage par segment dans la configuration documentée. La