Runway partage la construction de Runway Characters

Runway lance Runway Characters, un agent vidéo basé sur GWM-1 qui anime en temps réel et en 24fps un personnage HD à partir d'une seule image et de l'audio.

Characters est un agent vidéo qui transforme une image de référence unique, qu'elle soit photoréaliste, dessinée ou imaginaire, en personnage conversationnel animé en temps réel. La sortie atteint 24 images par seconde en HD, sans recours à un fine-tuning préalable. Le modèle gère lip-sync, expressions faciales et mouvements de tête à partir de l'audio entrant.

Le système repose sur GWM-1, le General World Model de l'éditeur, et adopte une génération autorégressive image par image, diffusée vers le client à mesure qu'elle se produit. Runway revendique 37 millisecondes de temps de modèle effectif par frame et une latence serveur de 1,75 seconde entre la fin d'une réplique utilisateur et le début de la réponse du personnage. Ce délai se décompose en 1 185 millisecondes pour l'agent vocal et 567 pour le pipeline vidéo, le réseau client-serveur ajoutant environ 200 millisecondes par trajet.

Plusieurs optimisations rendent l'exécution possible sous le budget de 42 millisecondes par frame imposé par le 24fps : Distribution Matching Distillation pour réduire le nombre d'étapes de débruitage, parallélisme tensoriel partagé entre diffusion transformer et VAE decoder dont l'exécution recouvrante fait disparaître la majeure partie du décodage du chemin critique, gestion fine du cache KV, capture de la forward pass en CUDA Graph et tuning de noyaux d'attention et de matmul.

Autour du modèle, Runway expose un ensemble de fonctions périphériques : vision par webcam ou partage d'écran, voix personnalisable par texte ou clonage à partir d'un échantillon, tool calling pour déclencher des actions UI ou des appels backend, base de connaissances documentaire, widget intégrable en une ligne de code, et intégration aux outils de visioconférence (Zoom, Google Meet, Teams). Characters est accessible immédiatement via l'API Runway et les applications web et mobile.