Un plateau virtuel à diriger en direct avec Pika Enact

Encore expérimental, Pika Enact associe placement des sujets, direction des personnages et caméra interactive dans une vidéo générée en continu.

Le mot « Action » déclenche une nouvelle prise, nourrie par les indications données pendant la répétition. Dans Enact, le dispositif expérimental présenté par Pika, les personnages peuvent recevoir des consignes écrites ou orales, répondre dans leur rôle et rejouer la scène. La prise finale repart de la première image : le système transforme les échanges préparatoires en une performance continue, avec image et voix synchronisées.

Cet environnement de génération en continu est construit sur Pika H3 Flex. Il réunit direction des personnages, déplacement des sujets à la souris et contrôle d’une caméra virtuelle. La présentation de recherche précise qu’Enact n’est pas disponible pour le grand public ; les essais et possibilités d’intégration passent par un contact avec l’équipe. La démonstration de répétition a été raccourcie, et ses sous-titres comme l’incrustation du réalisateur ont été ajoutés après coup. Des consignes traduites en jeu et en dialogue

Une demande de rapprochement entre deux personnages, un changement d’émotion ou une modification d’éclairage deviennent des instructions structurées. Un modèle de langage chargé du scénario lit les indications, l’image de départ et la mémoire de session, puis prépare les actions, dialogues, regards et ambiances que le modèle audiovisuel doit interpréter. Pendant ces échanges, la scène continue de se générer.

La mémoire conserve les remarques et l’historique de la répétition pour les intégrer aux interactions suivantes. Lorsque plus aucune consigne n’est en attente, le dispositif maintient une activité discrète, comme la respiration ou les clignements des yeux. Pour ce mode de direction, Pika annonce une production d’image et de son à 1,75 fois la vitesse de lecture. Ce rapport décrit le débit de génération ; il ne constitue pas une mesure du délai de réponse à chaque instruction orale. La souris intervient dans la scène et sur le cadre

Le placement en direct consiste à saisir un personnage ou un objet et à le déplacer pendant que la vidéo se poursuit. D’après l’équipe, le modèle régénère le sujet avec son environnement, en adaptant sa posture, l’éclairage et les ombres au mouvement demandé. Dans le réglage de faible latence décrit, l’image réagit en moins de 0,4 seconde sur H100, décodage compris. Cette mesure concerne le déplacement des sujets, avec des fragments générés de 0,17 seconde.

Le contrôle de caméra suit un autre dispositif. Une image de référence fixe l’apparence des personnages et du décor, tandis qu’une représentation 3D simplifiée, par exemple une vue Blender sans textures, guide les mouvements. L’utilisateur peut modifier l’angle, avancer vers un sujet ou tourner autour de lui à la souris. L’image et le son sont alors générés à partir de ces références et de l’historique de la scène.

Pour ce mode, l’essai publié utilise huit GPU NVIDIA B300, en 640 × 480 à 24 images par seconde. Les premières images arrivent en 0,51 seconde ; les fragments suivants sont produits à 1,5 fois la vitesse de lecture. Un flux entraîné à suivre les gestes

Le fonctionnement commun aux trois modes repose sur de courts fragments générés successivement, avec une mémoire glissante de la scène. La distillation réduit le nombre d’étapes nécessaires à chaque fragment, et l’entraînement apprend au modèle à poursuivre à partir de ses propres images précédentes. Une image d’ancrage et l’historique récent servent à maintenir l’apparence des personnages et du décor.

Pour apprendre les déplacements à la souris, l’équipe fabrique des paires de vidéos synthétiques : une scène d’origine et une version où une doublure 3D suit une trajectoire, avec les positions du curseur enregistrées. Pour la caméra, une chaîne de production sous Blender synchronise trajectoires, références 3D, images et audio spatial. Le document décrit aussi une limite de l’ancrage initial : dans une scène peu active, celui-ci peut ramener la génération vers son état de départ. Des consignes périodiques sont ajoutées pour préserver les changements d’éclairage ou de placement.