FLUX 3 apprend le monde par l'image, le son et l'action

Le modèle FLUX 3 de Black Forest Labs génère des clips de vingt secondes avec un son natif. Une approche multimodale qui s'étend jusqu'à la robotique.

Connu pour ses générateurs d'images, Black Forest Labs élargit FLUX à un modèle multimodal unique, entraîné d'un seul tenant sur l'image, la vidéo et l'audio, et capable de prédire des actions. L'hypothèse de départ tient en une phrase : chaque modalité n'est qu'une capture partielle d'une même réalité, et les apprendre ensemble les fait se contraindre mutuellement, le son devant correspondre à l'impact et le mouvement obéir à la masse. Le laboratoire inscrit FLUX 3 dans ses travaux sur les World Models.

Le volet vidéo ouvre en accès anticipé. Les clips atteignent vingt secondes avec un son produit nativement en une seule passe, à partir d'un texte, d'une image de départ, d'une vidéo de référence ou d'images clés servant à cadrer des transitions. Les dialogues multilingues sont pris en charge, et plusieurs plans s'enchaînent en séquences plus longues où des références visuelles maintiennent le même personnage d'une scène à l'autre. Black Forest Labs qualifie ses évaluations de préliminaires et revendique des taux de préférence face à plusieurs modèles vidéo concurrents. La partie image suivra.

Le versant robotique découle de la même hypothèse. Selon le laboratoire, la prédiction vidéo absorbe plus de 95 % du coût de calcul de l'entraînement, parce que rendre une scène crédible oblige à intégrer contact, poids et causalité. L'action relève ensuite du même registre, une description sommaire de l'état du robot étroitement liée à ce qu'il observe. Avec la société mimic robotics, un décodeur d'action léger a été greffé sur les représentations internes du socle vidéo (backbone), ce qui donne FLUX-mimic, testé sur des lignes de production Audi pour des gestes restés manuels, composer des bacs de pièces, insérer des calculateurs dans des logements serrés, manipuler des joints et des câbles souples. Le socle passe de l'image à sa représentation du monde en moins de 80 millisecondes sur une seule carte RTX 5090, le système complet réagissant en 101 millisecondes.

Le déploiement se fera par étapes, la vidéo et l'audio passant par une API et un accès privé aux poids, la prédiction d'action restant réservée à des partenaires de recherche et industriels, avant l'image et, en bout de course, un socle multimodal diffusé en open weights sous le nom FLUX 3 Dev.