Un monde Minecraft rejoué sans moteur de jeu derrière

Le projet Open Dreamer livre le code pour faire tourner un monde Minecraft sans moteur de jeu. Les coulisses techniques d'une alternative à Dreamer 4.

Reproduire un world model de premier plan, puis tout publier : c'est ce qu'ont fait trois chercheurs avec Open Dreamer, une réimplémentation ouverte de Dreamer 4, travail de référence signé Danijar Hafner et ses coauteurs. Mené avec le soutien de Reactor, le projet met en libre accès le modèle, le code d'entraînement et le récit détaillé de sa fabrication.

Le résultat se manipule depuis un navigateur, où le modèle tourne en temps réel sur l'infrastructure de Reactor. La démonstration ouvre un monde de Minecraft généré et jouable, avec un basculement entre le vrai jeu et sa version rêvée par le modèle, image par image. C'est tout le principe d'un world model : à partir des images précédentes et de l'action du joueur, le système fabrique l'image suivante, sans qu'aucun moteur de jeu ne tourne derrière.

La méthode suivie mérite d'être relevée. Plutôt que d'attaquer Minecraft d'emblée, l'équipe a validé toute sa chaîne sur un jeu de plateforme rudimentaire, entraînable sur une seule carte graphique, afin de disposer d'une boucle rapide et facile à déboguer avant de passer à l'échelle. Le dispositif tient en deux briques, un compresseur qui réduit chaque image à une représentation légère, et un modèle chargé de prédire la suite en fonction des actions.

L'intérêt principal du document se trouve toutefois ailleurs, dans le récit des difficultés. Les auteurs détaillent ce qui les a bloqués des semaines durant, en particulier des instabilités invisibles dans les indicateurs habituels : l'entraînement paraît progresser, les mesures s'améliorent, et pourtant les images produites se dégradent, jusqu'à tourner selon leurs mots à l'art abstrait. Ce genre de récit ne figure jamais dans les publications de laboratoires, qui livrent des résultats sans les mois de mise au point qui les précèdent. Reactor, qui développe une infrastructure d'inférence à très faible latence et se présente comme la couche manquante pour bâtir des expériences interactives sur des world models, trouve là une démonstration de son propre positionnement.