GWM Worlds 2 génère un monde pendant qu’on le contrôle

Runway présente GWM Worlds 2, un modèle de recherche qui produit des simulations interactives continues en 720p à 24 images par seconde, avec son et commandes en direct.

Le personnage avance dans le désert, frappe avec sa lance puis s’arrête pour boire. Pendant ce temps, une autre personne intensifie le feu de camp, remplace le coucher de soleil par une nuit étoilée et déclenche une tempête de poussière. La scène n’a pas été entièrement calculée à l’avance : GWM Worlds 2 la prolonge au fur et à mesure des commandes.

Présenté par Runway comme son dernier « General World Model », le système produit un flux vidéo continu en 720p à 24 images par seconde, accompagné d’un son échantillonné à 48 kHz. Son objectif n’est plus seulement de fabriquer un clip à partir d’une instruction, mais de maintenir un environnement audiovisuel susceptible de changer pendant sa génération.

L’utilisateur commence par définir le décor, les personnages, le style visuel, l’ambiance et certaines règles générales. Une première image sert de référence visuelle. Une fois la session lancée, de nouvelles commandes peuvent être adressées à un personnage particulier ou à l’ensemble de la scène, tandis que les mouvements de caméra sont transmis en continu.

Une commande peut faire marcher un personnage, lui demander de saisir un objet, déclencher un geste, introduire une réplique ou modifier la météo. Plusieurs actions peuvent se chevaucher. Le modèle doit alors les intégrer au flux déjà produit sans revenir au début ni interrompre systématiquement la lecture.

Runway rassemble ces informations dans un format baptisé WorldPrompt. Celui-ci sépare ce qui doit rester stable de ce qui change au cours du temps.

La partie persistante comprend une instruction initiale, appelée « genesis prompt », et la première image de la session. L’instruction décrit notamment l’organisation du décor, les matériaux, la lumière, l’ambiance sonore, les personnages disponibles et leurs attributs. Elle peut également indiquer une perspective de caméra ou des conventions portant sur la gravité, les collisions et les capacités des personnages.

Ces « règles physiques » ne doivent pas être confondues avec celles d’un moteur de simulation traditionnel. Runway ne présente ni système de corps rigides ni représentation géométrique explicitement mesurable. Les règles sont formulées en langage naturel et interprétées par le modèle lorsqu’il produit les images et le son. Elles orientent donc le résultat sans garantir un comportement déterministe ou scientifiquement exact.

La seconde partie du WorldPrompt prend la forme d’un flux d’événements horodatés. Chaque action possède un début, une fin et un destinataire. Une réplique est traitée comme une action au même titre qu’un déplacement ou une interaction avec un objet. À cela s’ajoutent, pour chaque image, la rotation et la translation demandées à la caméra.

Cette organisation autorise un contrôle séparé du point de vue et du sujet. Une personne peut faire avancer un cavalier tout en faisant tourner la caméra autour de lui, conduire un véhicule en vue subjective ou survoler un environnement sans nécessairement déplacer un personnage.

Dans la démonstration en direct, les commandes textuelles ne sont généralement pas saisies au clavier sous forme de phrases complètes. Elles sont préparées à l’avance puis associées à des touches et aux mouvements de la souris. La touche W peut, par exemple, envoyer l’instruction selon laquelle un personnage avance, tandis qu’un clic lui demande de lancer un objet.

Le contrôle ressemble ainsi à celui d’un jeu, mais chaque touche déclenche une description destinée au modèle. Cette différence explique pourquoi la réponse peut rester plus souple qu’une animation conventionnelle, tout en étant moins prévisible. Une même action ne produira pas nécessairement deux fois exactement le même mouvement.

Runway distingue trois manières d’utiliser le système. Dans la première, tous les événements sont rédigés avant la génération, comme un scénario technique. Ce mode se rapproche de la réalisation audiovisuelle. Dans la deuxième, le flux s’arrête à certains moments pour laisser l’utilisateur prendre une décision, selon une structure adaptée à un récit interactif.

Le troisième mode fonctionne réellement en direct. Le modèle continue de produire la scène pendant que les commandes arrivent. Il s’agit du cas le plus exigeant, car une action doit être interprétée assez rapidement pour modifier les prochaines images sans créer une attente visible.

Toutes les séquences présentées par Runway ne reposent cependant pas sur les mêmes conditions. L’entreprise précise que certaines démonstrations ont été préparées entièrement à l’avance afin de fournir des descriptions plus détaillées. La majorité aurait été réalisée avec son interface en temps réel, mais cette différence empêche de considérer chaque exemple comme une session improvisée dans son intégralité.

Runway reconnaît également que le mode préparé produit actuellement de meilleurs résultats. Lorsqu’une caméra se retourne, une instruction écrite à l’avance peut décrire précisément ce qui doit apparaître dans la nouvelle direction. En direct, le modèle doit inventer cette partie du décor en s’appuyant seulement sur l’instruction persistante et sur les images récentes.

GWM Worlds 2 utilise une architecture de diffusion autorégressive pour la vidéo et le son. À chaque étape, il reçoit le contexte global, les commandes couvrant le moment en cours, les indications de caméra et une partie des images précédemment générées. Les nouvelles sorties deviennent ensuite le contexte des suivantes.

La mémoire visuelle n’est pas illimitée. Les images récentes sont conservées dans une fenêtre glissante, tandis que les plus anciennes en sortent progressivement. L’instruction initiale et la première image demeurent disponibles comme références globales, mais le modèle ne revoit pas en permanence l’intégralité de la session.

Cette structure permet de continuer le flux sans fixer sa durée dès le départ. Elle ne signifie toutefois pas que le monde possède une mémoire parfaite ou qu’une session peut se prolonger indéfiniment sans dégradation. Un objet abandonné