Genie 4 ouvre une nouvelle étape pour la simulation des mondes physiques

Google DeepMind dévoile Genie 4, un modèle capable de générer des mondes photoréalistes interactifs, avec sons, dialogues et simulation physique en temps réel.

Un personnage joue du saxophone sur une plateforme flottante. La caméra s'éloigne, traverse le lac et découvre le paysage environnant, tandis que la musique, les mouvements et les reflets continuent d'évoluer. La scène n'est pas une vidéo préalablement calculée ni un environnement construit dans un moteur de jeu traditionnel. Elle est générée en direct par Genie 4, le nouveau modèle de simulation interactive de Google DeepMind.

L'évolution est importante pour les modèles de monde, ou world models. Jusqu'ici, leur intérêt reposait principalement sur la capacité à produire un environnement visuel explorable. Avec Genie 4, Google ajoute la génération sonore native, les dialogues interactifs, une meilleure représentation des interactions physiques et la possibilité de modifier le déroulement d'une scène par de simples instructions textuelles.

Le système est actuellement proposé à un groupe restreint de testeurs. Google prévoit ensuite un accès dans Project Genie pour les abonnés Google AI Ultra, ainsi qu'une ouverture progressive aux développeurs via l'API Gemini et Google AI Studio. Des environnements générés plutôt que des vidéos figées

La différence entre un générateur vidéo et un modèle de monde interactif tient à la manière dont les images sont produites.

Une vidéo générée classique suit une séquence définie à l'avance. Dans Genie 4, l'environnement évolue en réponse aux déplacements de la caméra, aux commandes de l'utilisateur et aux événements qui se produisent dans la scène.

Les démonstrations publiées par Google DeepMind présentent des déplacements contrôlés au clavier, associés à des instructions textuelles permettant d'influencer les événements pendant leur déroulement.

L'utilisateur peut notamment changer les conditions météorologiques, déplacer son point de vue ou introduire de nouveaux personnages et objets. Le modèle adapte alors la scène existante, plutôt que de recommencer entièrement une génération.

Dans une démonstration, une plateforme de béton flotte au milieu d'un lac brumeux. Un musicien joue du saxophone à proximité d'une sphère lumineuse. L'utilisateur peut explorer librement l'environnement tandis que les mouvements du personnage, la musique et les éléments du décor continuent d'être simulés.

D'autres exemples montrent des paysages glacés traversés en montgolfière, une prairie où serpente un immense ruban de tissu rose ou des environnements entièrement composés de vitraux.

Le réalisme photographique n'est donc pas la seule direction esthétique proposée. Genie 4 peut également maintenir des univers visuels stylisés pendant l'exploration. Gemini Omni pour l'image, Gemini Flash pour organiser les événements

Genie 4 repose en partie sur les capacités de la famille Gemini, mais les différentes composantes ne remplissent pas le même rôle.

Selon Google, Gemini Omni contribue à ancrer les simulations dans une représentation crédible des apparences et des comportements du monde réel.

Gemini 3.8 Flash intervient comme agent de supervision pendant la génération. Il observe régulièrement la scène, décompose les objectifs en étapes, surveille leur progression et adapte les instructions envoyées au modèle de monde.

Ce fonctionnement apporte une couche de raisonnement à un système qui ne se limite plus à prédire l'image suivante. Lorsqu'un utilisateur modifie l'environnement ou interrompt un événement, Gemini peut réorganiser les étapes nécessaires pour poursuivre la simulation.

La distinction est importante : Genie 4 ne réalise pas nécessairement seul toute la planification. Les démonstrations de comportements complexes reposent sur une coopération entre le générateur de monde et un modèle Gemini chargé d'orienter son déroulement.

Google présente également une expérimentation associant Gemini 4 Argon à Genie 4. Dans l'exemple publié, le système décompose les actions d'un robot humanoïde Apollo d'Apptronik jouant aux dames, puis transmet progressivement les étapes à Genie 4 pour les représenter dans la simulation.

Il s'agit d'une expérimentation de recherche, et non d'une démonstration selon laquelle le robot physique aurait exécuté ces gestes de façon autonome. Les objets tombent, les personnages réagissent et la scène produit ses propres sons

Google revendique une progression de la simulation physique, notamment pour les collisions, l'aérodynamique et les mouvements humains.

Une démonstration montre une graine d'érable descendant vers le sol. Une autre met en scène une pastèque placée sur un socle en pierre. Ces exemples visent à illustrer la capacité du modèle à reproduire des phénomènes dynamiques, au-delà de la simple apparence d'une image.

La génération de personnages évolue également. Genie 4 peut représenter des individus qui se déplacent, interagissent avec leur environnement et réagissent aux changements provoqués par l'utilisateur.

L'autre nouveauté majeure est la génération audio native. Les environnements produisent leurs propres sons, sans nécessiter nécessairement un traitement audio indépendant après la génération des images.

Le système peut créer le vent, les vagues, les bruits d'ambiance, la musique ou les sons associés aux mouvements des personnages. Il prend également en charge des dialogues interactifs, dans lesquels les personnages réagissent à ce que dit ou fait l'utilisateur.

Dans une expérience en vue subjective, un chevalier chevauche un dragon à grande vitesse. Les mouvements des ailes, les rafales de vent et les sons de l'environnement sont générés en même temps que l'image.

Pour les créateurs de contenus interactifs, la génération simultanée de l'image et du son réduit la séparation traditionnelle entre conception de l'environnement, animation et habillage sonore. Des décors de cinéma explorables avant le tournage

Google teste Genie 4 avec des professionnels de la création, du journalisme, de l'éducation, du jeu vidéo et de l'ingénierie.

Dans l'audiovisuel, le modèle est envisagé comme un outil de prévisualisation interactive. Un réalisateur pourrait explorer une scène avant