Un World Model ouvert tient une minute de jeu sans partir à la dérive

Le cadre open source AlayaWorld d'Alaya Lab produit des environnements interactifs en 720p. Une méthode conçue pour éliminer la dérive visuelle.

AlayaWorld, publié par Alaya Lab, se présente comme un cadre open source complet pour bâtir des mondes vidéo interactifs. Le principe renverse la fabrication classique d'un décor de jeu, où objets, animations et règles d'interaction sont spécifiés un par un : ici, le modèle synthétise les observations suivantes à partir de l'état courant et des actions de l'utilisateur, en 720p à 24 images par seconde. On navigue librement, on déclenche un combat, on lance un sort ou l'on fait apparaître une créature, la scène tenant au-delà d'une minute de génération continue.

L'inférence part d'une image de première frame, d'une trajectoire de caméra et d'un prompt, puis déroule la vidéo par blocs d'environ une seconde et demie, une quarantaine de blocs suffisant à couvrir la minute. Le temps réel tient à une distillation en peu d'étapes et à ces blocs courts, le changement de prompt intervenant aux jonctions pour limiter la latence.

Le point technique le plus notable concerne la dérive, ce délitement progressif qui plombe la génération longue. Là où l'on cherche d'ordinaire à l'empêcher, l'équipe entraîne le modèle à l'absorber. Un mécanisme baptisé error bank réinjecte pendant l'entraînement les artefacts accumulés dans des historiques déjà partis à la dérive, à la fois dans la mémoire et dans la cible de génération, de sorte que le modèle ne se laisse plus déstabiliser par ses propres fautes passées. S'y ajoutent un cache 3D et un module de compression d'historique, censés maintenir la cohérence d'un lieu que l'on quitte puis retrouve.

Entraîné sur des enregistrements de parties et des vidéos réelles, le modèle vise aussi les usages hors jeu, en particulier l'intelligence incarnée et la simulation pour la robotique. Le code d'inférence et les poids sont disponibles, le code d'entraînement et les jeux de données étant annoncés pour la suite. Alaya Lab revendique un niveau de performance à l'état de l'art.