fal Worlds : des mondes générés par IA que l'on peut explorer et diriger en temps réel
fal lance Worlds, une plateforme pour explorer et diriger des mondes générés par IA en temps réel, avec LingBot World, H3 Max Director et Abot World.
Jusqu'ici, la génération vidéo par intelligence artificielle consistait principalement à soumettre une instruction, attendre le résultat, puis recommencer pour obtenir une nouvelle séquence. Avec fal Worlds, fal propose une autre approche : des environnements générés continuellement, dans lesquels l'utilisateur peut se déplacer, intervenir et modifier le déroulement des scènes. La plateforme réunit plusieurs modèles capables de produire des mondes interactifs, dont LingBot World 2, H3 Max Director et Abot World. Elle repose sur une nouvelle infrastructure, le World Model Accelerator, conçue pour réduire les délais entre les actions de l'utilisateur et les réponses du modèle. De la vidéo générée aux environnements interactifs
Les modèles traditionnels de génération vidéo produisent généralement une séquence à partir d'un texte, d'une image ou de plusieurs références.
Le résultat est un contenu dont la durée et les événements sont largement déterminés au moment de la génération.
Les world models explorent une autre organisation. Ils cherchent à représenter l'évolution d'un environnement en tenant compte de ce qui s'y passe et, dans certains cas, des interventions d'un utilisateur.
Il devient possible de déplacer une caméra, de modifier une trajectoire ou de demander qu'une scène évolue dans une direction particulière pendant que l'environnement continue d'être produit.
Avec Worlds, fal rassemble ces possibilités dans une interface destinée à expérimenter plusieurs modèles.
La plateforme distingue notamment trois modes : Walkable, pour se déplacer dans un environnement ; Directable, pour orienter une scène pendant sa génération ; et Explorable, pour parcourir un monde interactif.
Ces catégories correspondent à des expériences différentes. Tous les modèles ne permettent pas les mêmes interactions, et la direction d'une séquence vidéo n'implique pas nécessairement une simulation complète et persistante de son environnement. Plusieurs modèles accessibles depuis une même plateforme
Le catalogue fal Worlds regroupe des modèles orientés vers l'exploration et la réalisation de scènes.
H3 Max Director permet de produire un flux vidéo continu et de le modifier à l'aide d'instructions envoyées pendant la session. L'utilisateur peut définir une situation initiale, puis changer le déroulement de la scène sans interrompre systématiquement la génération.
H3 Max Reference Director ajoute des images de référence afin de guider l'apparence des personnages, des objets et des environnements au fil des séquences.
LingBot World 2, proposé par Robbyant, permet d'explorer des environnements interactifs à travers des commandes de déplacement et de caméra.
Abot World, associé à Alibaba, propose également une expérience d'exploration dans laquelle l'utilisateur peut se déplacer et contrôler le point de vue.
Cette sélection permet de comparer deux grandes approches : la génération d'un flux audiovisuel que l'on peut diriger et l'exploration d'un environnement dont l'évolution dépend des commandes de navigation.
Les modèles sont proposés séparément dans le catalogue de fal, avec leurs propres interfaces et conditions d'utilisation. H3 Max Director : modifier une scène pendant sa diffusion
H3 Max Director illustre l'approche de réalisation continue.
Contrairement à un système qui attend la fin d'une génération avant d'accepter une nouvelle demande, il maintient une session active avec l'utilisateur.
Celui-ci fournit d'abord une instruction établissant le contexte général : décor, personnages, situation ou direction narrative.
Le modèle commence ensuite à produire une séquence vidéo accompagnée de son.
Pendant la diffusion, de nouvelles instructions peuvent être envoyées pour modifier les événements à venir.
Un utilisateur peut, par exemple, demander à un personnage de quitter une pièce, de rejoindre un autre protagoniste ou de poursuivre une action dans un nouvel environnement.
Le modèle utilise le contexte des segments précédents pour maintenir une certaine continuité visuelle et narrative.
Les changements s'appliquent aux séquences qui n'ont pas encore été générées. Les passages déjà diffusés ne sont pas réécrits.
D'après la documentation de H3 Max Director, les sessions utilisent notamment des flux vidéo et audio transmis par WebRTC, avec des réglages de définition et de format.
Cette architecture s'adresse autant aux expérimentations narratives qu'aux applications nécessitant une réponse audiovisuelle pendant l'interaction. Des images de référence pour encadrer les personnages
H3 Max Reference Director étend ce fonctionnement en permettant de fournir des références visuelles.
Les images peuvent servir à définir l'apparence de personnages, de vêtements, d'objets ou de décors.
L'utilisateur conserve la possibilité d'orienter la scène à l'aide d'instructions textuelles pendant la session.
Le système cherche ainsi à faire évoluer l'action tout en conservant les éléments visuels définis au départ.
La fiche technique du modèle décrit plusieurs paramètres de contrôle, notamment le niveau de fidélité des références, la quantité de contexte conservée et le comportement des nouvelles instructions.
Ces réglages sont particulièrement pertinents pour les usages nécessitant des personnages récurrents ou une continuité esthétique entre plusieurs scènes.
La présence de références ne garantit toutefois pas une identité parfaitement stable dans toutes les situations. La cohérence des personnages et des décors reste une capacité à évaluer selon la durée et la complexité des séquences. LingBot World 2 et Abot World : explorer plutôt que regarder
Avec LingBot World 2 et Abot World, l'interaction repose davantage sur le déplacement dans un environnement.
L'utilisateur peut employer des commandes de mouvement et de caméra pour choisir sa direction et observer les changements produits par le modèle.
Ce fonctionnement se rapproche davantage de la navigation dans un espace virtuel que de la production d'un film linéaire.
La différence avec un moteur de jeu traditionnel