La vidéo de Runway commence avant d’être entièrement générée

Runway détaille comment ses modèles deviennent causaux et autorégressifs afin d’afficher les premières images pendant que la suite de la vidéo est encore produite.

Décrire une scène, lancer la génération, attendre, puis découvrir un clip terminé. Runway veut faire disparaître cette succession d’étapes au profit d’un flux qui commence presque immédiatement et se poursuit pendant que le modèle calcule la suite.

Dans une publication datée du 10 septembre 2026, l’entreprise présente l’état de ses recherches sur la génération vidéo en temps réel. Elle ne lance pas un nouveau modèle et n’annonce aucune fonction supplémentaire dans son application. Elle expose plutôt la méthode employée pour accélérer ses modèles existants et les faire passer d’une production complète à une génération progressive.

L’objectif principal porte sur le time-to-first-frame, le temps nécessaire avant l’apparition de la première image. Les modèles vidéo habituels construisent ou affinent plusieurs secondes de contenu avant d’en restituer le résultat. Même lorsqu’un clip ne prend que quelques secondes à calculer, l’utilisateur reste devant une tâche en attente.

Un modèle diffusé en streaming change cette relation. Les premières images peuvent être affichées alors que les suivantes n’existent pas encore. La vidéo commence donc avant d’être terminée, comme une réponse textuelle dont les premiers mots apparaissent pendant que la suite est encore préparée.

Le terme « génération instantanée » doit cependant être pris comme une direction de recherche. Runway ne communique ni durée exacte avant la première image, ni cadence de génération, ni résolution, ni configuration matérielle pour les démonstrations présentées. L’annonce ne fixe pas davantage le seuil à partir duquel cette technologie sera considérée comme prête pour un usage public.

Le système part d’une première image et d’une description choisie au lancement. Il avance ensuite de manière autorégressive : chaque nouvel état dépend de ce qui a déjà été produit. Les représentations internes des images précédentes restent dans le contexte afin de préserver l’apparence de la scène, son mouvement et la continuité des objets.

Les décodeurs vidéo et audio fonctionnent eux aussi de manière causale. Ils n’attendent pas de disposer de la séquence entière pour commencer leur travail. Ils convertissent progressivement les nouvelles représentations en images et en son, puis les transmettent au lecteur au fil de leur création.

Runway ne repart pas d’un modèle vide pour obtenir ce comportement. Son approche consiste à reprendre un modèle de fondation déjà entraîné, comme Gen-4.5, puis à lui appliquer un post-entraînement consacré au fonctionnement en temps réel.

Gen-4.5 a été conçu pour produire des clips complets avec une attention étendue à l’ensemble de la séquence. Pendant la génération, le modèle peut tenir compte des moments antérieurs et ultérieurs pour organiser un mouvement ou maintenir une composition.

Cette vue globale facilite la cohérence d’un clip terminé, mais elle s’accorde mal avec le streaming. Une image diffusée à l’utilisateur ne peut plus être corrigée quelques secondes plus tard lorsqu’un nouvel élément apparaît dans la séquence. Le modèle doit prendre chaque décision à partir du passé, sans connaître les images futures.

La première étape consiste donc à convertir le modèle en générateur temporellement causal. Runway appelle cette phase teacher forcing. Pendant l’entraînement, le système apprend à prédire l’état suivant à partir d’un historique correct fourni par les données, image après image.

Cette conversion montre qu’une architecture initialement conçue pour traiter une séquence entière peut être adaptée à une production autorégressive. Elle ne suffit pourtant pas à atteindre le temps réel. Le modèle causal conserve la méthode de flow matching de sa version d’origine et doit encore effectuer de nombreuses étapes de débruitage pour produire chaque nouvelle image.

Runway réduit ce nombre avec une distillation par rapprochement de distributions. Un modèle élève, plus rapide, apprend à reproduire les sorties d’un modèle enseignant plus coûteux. L’objectif n’est pas de copier chaque calcul interne, mais d’obtenir une distribution visuelle suffisamment proche avec seulement quelques étapes.

Cette distillation se déroule en deux temps. La première phase, dite off-policy, entraîne l’élève à partir de séquences correctes issues des données. Un enseignant bidirectionnel figé fournit la cible, tandis qu’un modèle critique suit les productions actuelles de l’élève et mesure leur écart avec celles attendues.

La méthode allège la mémoire nécessaire et raccourcit chaque étape d’entraînement, car l’élève n’a pas à générer de longues séquences complètes. Il reçoit un historique propre, puis apprend à prédire ce qui doit suivre.

Cette situation demeure plus favorable que celle rencontrée au moment de l’utilisation. Une fois déployé, le modèle ne reçoit plus un passé parfait. Il travaille avec ses propres productions, y compris leurs défauts. Une erreur légère entre alors dans le contexte de l’image suivante, puis peut être amplifiée à chaque nouvelle étape.

Une texture instable peut devenir une déformation. Un objet légèrement déplacé peut continuer à dériver. Un visage modifié sur une image peut s’éloigner davantage de son identité quelques secondes plus tard. L’accumulation est particulièrement problématique lorsque la génération ne possède pas de durée fixée à l’avance.

La seconde phase de distillation place donc le modèle dans des conditions plus proches de l’inférence. Pendant cet entraînement on-policy, l’élève génère lui-même une séquence. Chacune de ses sorties devient le contexte utilisé pour calculer la suivante.

Le système rencontre ainsi ses propres erreurs pendant son apprentissage. Il peut s’entraîner à rester proche de la distribution de l’enseignant même lorsque la trajectoire a déjà commencé à dériver. Pour Runway, cette seconde phase apporte l’essentiel des gains observés dans la chaîne de génération.

L’entreprise utilise aussi un programme d’entraînement dont la durée des séquences augmente progressivement. Le modèle commence avec des