Les cubes Minecraft deviennent des tokens génératifs

Le projet Dream-Cubed de Sakana AI transforme les blocs de Minecraft en tokens pour générer des terrains jouables et modifiables en moins de trois minutes.

Avec Dream-Cubed, Sakana AI et la New York University utilisent les blocs de Minecraft comme des unités composables, à la manière des tokens pour le texte. Le projet s’appuie sur plus de deux millions de volumes de 32 × 32 × 32 blocs, issus de terrains générés de manière procédurale et de six cartes conçues par des créateurs professionnels avec leur autorisation. L’ensemble représente plusieurs dizaines de milliards de blocs répartis entre biomes naturels, grottes, villages et architectures humaines.

Deux approches de diffusion 3D ont été entraînées sur une même architecture de 280 millions de paramètres. La première travaille directement avec les catégories de blocs grâce à la diffusion masquée MD4. La seconde transforme chaque type de bloc en représentation continue avant de reconstruire le volume avec une approche DDPM. Les deux produisent des terrains conditionnés par biome, mais la formulation discrète offre un contrôle plus direct : les blocs placés par l’utilisateur restent fixes pendant la génération et servent de contraintes pour compléter le décor.

Quelques blocs suffisent ainsi à suggérer une spirale, une rivière, un volcan ou une pente. Dream-Cubed construit ensuite le terrain environnant, régénère une zone existante ou prolonge progressivement la carte par outpainting. Les volumes obtenus utilisent directement les blocs du jeu : ils restent modifiables et peuvent être intégrés dans un environnement Minecraft jouable, sans étape supplémentaire de reconstruction.

Les auteurs ont également mené une étude auprès de 19 personnes connaissant Minecraft. Selon leurs résultats, les terrains générés ont été préférés aux extraits réels dans 55,2 % à 67,1 % des comparaisons, notamment parce qu’ils représentent parfois plus nettement les caractéristiques attendues d’un biome. Le dispositif reste expérimental : les données proviennent de Minecraft 1.12.2, certains blocs ont été regroupés pour réduire le vocabulaire et la génération d’un seul volume peut demander de 25 secondes à environ 2 minutes 30 sur un GPU H100.