FastVideo ouvre Dreamverse, son outil de « vibe directing » vidéo en temps réel

Hao AI Lab libère Dreamverse, l'outil FastVideo de génération vidéo en temps réel et vibe directing basé sur LTX-2 et optimisé pour le GPU NVIDIA B200.

Le laboratoire Hao AI Lab de l'UCSD ouvre le code de Dreamverse, son environnement de génération vidéo en temps réel développé au sein du projet FastVideo. Frontend et backend sont publiés comme application de référence pour quiconque souhaite bâtir ses propres systèmes de vidéo générative.

L'outil mise sur le « vibe directing », transposition à la vidéo de la logique du vibe coding : on part d'une idée simple, on regarde le résultat, puis on oriente la suite en langage naturel. Conserver le sujet, modifier la caméra, prolonger la scène ou bifurquer vers une autre direction se fait dans une boucle d'itération courte, le rendu s'affichant au fil de la génération plutôt que segment après segment.

Dreamverse repose sur LTX-2, le modèle de diffusion de LTX, et tourne sur un seul GPU NVIDIA B200, chaque session mobilisant une carte. La pile fournie réunit l'espace de travail navigateur, le runtime qui gère sessions, mémoire des prompts, sécurité et réécriture, un pool de workers GPU et une couche de diffusion en fMP4 transmise par websocket. Un filtre de sécurité s'appuie sur des classifieurs fastText pour repérer contenus explicites et discours haineux, tandis qu'un module de réécriture enrichit chaque instruction de détails de caméra, de mouvement et de contexte, via des endpoints LLM à faible latence tels que GroqCloud.

Côté optimisation, la génération exploite torch.compile, l'attention FA4 pensée pour l'architecture Blackwell et le format NVFP4 de NVIDIA pour mieux solliciter les Tensor Cores du B200. Chaque segment conserve les dernières images et l'audio comme conditionnement, ce qui assure une continuité visuelle et sonore d'un plan à l'autre. L'équipe explore désormais des méthodes pour faire tourner Dreamverse sur des cartes grand public comme les RTX 5090, 4090 et 3090.