CADRE : Kyutai réduit le temps de réaction des mondes virtuels générés par IA

Kyutai publie CADRE, sept autoencodeurs vidéo ouverts permettant de créer des mondes interactifs à 20 images par seconde sur un seul GPU.

Un monde virtuel généré par intelligence artificielle peut produire des images convaincantes tout en réagissant trop lentement aux actions de son utilisateur. Ce décalage, relativement secondaire dans la génération d'une vidéo classique, devient problématique lorsqu'il faut déplacer un robot, conduire un véhicule simulé ou manipuler des objets en temps réel. Avec CADRE, le laboratoire français Kyutai propose une famille de sept autoencodeurs vidéo conçus pour réduire cette latence sans sacrifier la qualité des mouvements. Les modèles expérimentaux associés fonctionnent à 20 images par seconde sur un seul GPU NVIDIA H100, avec un délai de réaction inférieur à 230 millisecondes dans les configurations interactives retenues. Le projet comprend également du code ouvert, les poids des modèles et une démonstration jouable au clavier. Pourquoi une belle vidéo peut produire une mauvaise simulation

Un world model, ou modèle du monde, apprend à simuler l'évolution d'un environnement à partir d'images précédentes et d'actions. Il peut générer les conséquences visuelles d'un mouvement de robot, d'un changement de direction ou d'une interaction avec un objet. Ces modèles servent notamment à explorer des scénarios, à entraîner des agents et à évaluer leurs comportements sans devoir reproduire chaque situation dans le monde physique.

Pour limiter les besoins de calcul, ils ne manipulent généralement pas directement les pixels. Un autoencodeur vidéo transforme les images en représentations compactes, appelées latents, dans lesquelles le modèle effectue ses prédictions. Un décodeur reconstitue ensuite la vidéo visible. Le choix de la compression détermine donc la quantité d'informations à traiter, mais aussi le délai entre une action et son apparition à l'écran.

De nombreux modèles du monde réutilisent les autoencodeurs de générateurs vidéo tels que Wan 2.2, LTX-2 ou NVIDIA Cosmos. Or, ces systèmes ont été principalement conçus pour produire des séquences complètes, pas pour répondre instantanément à des commandes. Ils regroupent souvent plusieurs images successives dans une même représentation latente, ce qui réduit le calcul nécessaire, mais contraint le modèle à attendre les actions correspondant à toutes ces images avant de pouvoir générer leur résultat.

À 20 images par seconde, une compression temporelle regroupant huit images impose ainsi au moins 400 millisecondes d'attente, avant même d'ajouter le temps nécessaire à la génération et au décodage. Les chercheurs citent des travaux situant autour de 230 millisecondes le seuil à partir duquel un décalage entre une action et son résultat visuel devient perceptible. Pour une simulation destinée à être pilotée, les économies de calcul peuvent donc se traduire par une perte de réactivité importante. Sept autoencodeurs pour étudier où compresser la vidéo

CADRE signifie Causal Diffusion Representation Autoencoders. Le projet prolonge les recherches menées sur MIRA, le modèle interactif de Kyutai consacré à l'univers de Rocket League, mais cherche cette fois à couvrir plusieurs catégories d'environnements.

L'équipe a développé sept autoencodeurs partageant une même méthode d'entraînement, tout en faisant varier leurs niveaux de compression spatiale et temporelle. L'objectif est d'isoler les effets de ces deux paramètres sur la qualité des images, le mouvement et la réactivité. Compresser spatialement consiste à représenter une zone plus étendue de l'image avec un même élément latent ; compresser temporellement revient à réunir plusieurs images successives dans une même représentation.

L'encodeur exploite les représentations visuelles de DINOv3, dont les paramètres restent figés, auxquelles s'ajoute une couche de compression entraînée pour chaque configuration. Le décodeur utilise une architecture de diffusion causale, capable de reconstruire la vidéo progressivement sans s'appuyer sur des images futures encore inconnues.

Pour réduire son coût, ce décodeur est entraîné par auto-distillation afin de produire une reconstruction en une ou deux étapes. Cette conception permet de conserver les détails visuels associés aux méthodes de diffusion sans reproduire les nombreuses itérations généralement nécessaires aux générateurs d'images et de vidéos.

Les autoencodeurs ont été entraînés sur environ 76 000 heures de vidéo provenant de 23 jeux de données publics. Les chercheurs ont ensuite entraîné des modèles du monde selon une recette commune, afin de comparer les différentes compressions dans des conditions aussi proches que possible. Robots, conduite et déplacements intérieurs : quatre terrains d'essai

L'étude porte sur quatre environnements : la manipulation d'objets par un robot, la manipulation par des mains humaines, la conduite automobile et la navigation à l'intérieur de bâtiments. Les données proviennent respectivement d'ABC, EgoDex, NVIDIA Physical AI Autonomous Vehicles et RealEstate10K.

Chaque modèle reçoit deux secondes de vidéo réelle, puis doit générer les 4,8 secondes suivantes à partir des actions enregistrées. Les expériences sont conduites à 20 images par seconde, avec une résolution de 288 × 512 pixels, et les performances sont évaluées sur des séquences tenues à l'écart de l'entraînement.

Les chercheurs mesurent trois aspects différents. Le FID évalue la qualité visuelle des images, le FVD tient également compte de la cohérence temporelle des séquences, tandis que l'ARR mesure dans quelle proportion les actions qui ont produit une vidéo peuvent être retrouvées à partir de cette dernière. Ce troisième indicateur permet de distinguer une animation visuellement crédible d'une simulation qui respecte réellement les commandes reçues.

Les modèles utilisant CADRE occupent la majeure partie du meilleur compromis entre latence et qualité observé dans ces expériences, particulièrement lorsque la caméra se déplace. Les chercheurs les comparent aux autoencodeurs de Wan 2.2, Cosmos, LTX-2, DC-AE et MIRA. Dans les configurations les plus favorables à l'interaction, CADRE