Plier, saisir, ressentir : un World Model apprend à simuler le monde en 3D

À plus de 50 images par seconde sur une RTX 5090, 3D World Simulator prédit mouvements, géométrie et sensations tactiles pour entraîner des robots.

Plier une serviette, saisir un objet ou insérer une pièce dans un mécanisme exige davantage qu'une bonne compréhension des images. Un robot doit anticiper les mouvements, reconnaître les contacts et tenir compte des déformations provoquées par ses gestes. Une équipe de chercheurs de Columbia University, UC Berkeley, l'University of Michigan, NVIDIA et Analog Devices propose une nouvelle approche capable de simuler ces interactions en trois dimensions, à plus de 50 images par seconde sur une GeForce RTX 5090.

Baptisé 3D World Simulator, ce World Model ne se limite pas à prédire l'apparence visuelle d'une scène. Il génère simultanément sa géométrie, son évolution dans l'espace et des signaux tactiles associés aux objets manipulés. L'ensemble fonctionne dans une représentation 3D commune, permettant de changer de point de vue ou d'observer les contacts sans devoir reconstruire séparément chaque information. Les chercheurs présentent cette architecture dans leurs travaux sur la simulation 3D multimodale, accompagnés d'une démonstration interactive accessible depuis un navigateur. Une scène 3D qui évolue au rythme des actions

La particularité du système tient à son architecture hybride, associant particules et voxels. Ces derniers découpent l'espace en volumes élémentaires et fournissent une structure stable pour prédire l'évolution d'une scène. Les particules servent ensuite à reconstruire les détails géométriques, notamment lorsque les objets se déforment ou entrent en contact.

Les chercheurs utilisent un autoencodeur pour convertir les informations captées par plusieurs caméras stéréoscopiques en une représentation 3D compacte. Un second modèle apprend à prédire son état suivant à partir des états précédents et des actions commandées au robot. Chaque nouvelle prédiction peut alimenter la suivante, autorisant des simulations prolongées sans imposer une trajectoire prédéfinie.

Contrairement aux approches qui suivent individuellement les points d'un objet, cette méthode ne nécessite pas de conserver leur identité d'une image à l'autre. Cette distinction prend toute son importance lorsqu'une main robotique masque une partie de l'objet ou qu'un tissu change constamment de forme. La simulation conserve une cohérence spatiale tout en autorisant des changements de caméra, y compris vers des points de vue absents des observations initiales.

Les signaux tactiles sont également représentés sous forme de particules 3D, alignées avec la géométrie des objets. Un robot peut ainsi exploiter des informations simulées sur les contacts, en complément de ce qu'il observe visuellement. Du pliage de tissu à l'assemblage de précision

Les démonstrations interactives couvrent six scénarios de manipulation : pliage de tissu, rangement d'une boîte, assemblage de pièces, déplacement d'un objet en forme de T, insertion d'un marqueur et passage d'une corde.

Ces situations mobilisent des propriétés physiques différentes. Le pliage implique de suivre les déformations d'une surface souple, tandis que l'insertion d'une pièce nécessite de gérer des contacts précis entre objets rigides. Les manipulations effectuées directement dans une pince robotique représentent une difficulté supplémentaire, puisque les caméras ne disposent pas toujours d'une vue dégagée sur les zones de contact.

L'interface permet de contrôler les bras robotisés au clavier ou en déplaçant leurs commandes à l'écran, puis d'observer le résultat sous plusieurs représentations. L'utilisateur peut afficher la scène rendue, les particules géométriques, les informations tactiles ou les états intermédiaires du modèle.

Cette souplesse concerne également les décors et les robots. Les chercheurs peuvent associer les interactions simulées à des environnements reconstruits par Gaussian Splatting, ou remplacer les bras mécaniques par d'autres modèles cinématiques. Les éléments extérieurs à la zone de manipulation sont alors traités séparément, ce qui évite de recalculer l'ensemble de la scène à chaque variation. Entraîner des robots sans multiplier les essais physiques

L'un des principaux intérêts de cette architecture concerne l'apprentissage robotique. Habituellement, entraîner une politique de manipulation nécessite de nombreuses démonstrations ou interactions dans un environnement physique, avec les contraintes de matériel, de temps et de répétabilité que cela implique.

La simulation 3D permet de générer des observations visuelles et tactiles cohérentes avec les actions d'un robot. Les chercheurs ont utilisé ces données pour entraîner des politiques de manipulation, puis les ont exécutées sur de véritables machines. Dans les expériences présentées, certaines politiques entraînées exclusivement sur des données synthétiques obtiennent des performances comparables à celles de politiques entraînées exclusivement sur des données réelles.

L'équipe évalue également les politiques directement dans le World Model, notamment pour l'assemblage, le pliage de tissu et le déplacement d'objets. Les simulations reproduisent des situations de réussite, mais aussi des échecs liés à un mauvais alignement, à un glissement ou à une prise manquée. Les auteurs rapportent une forte corrélation entre les taux de réussite simulés et ceux observés physiquement sur les tâches étudiées.

Ces résultats restent liés à des environnements de manipulation délimités. Le système ne prétend pas reproduire librement l'ensemble du monde physique : les interactions complexes se déroulent dans une zone définie, tandis que certains éléments du décor et des robots sont représentés par des composants distincts. Plus de 50 images par seconde sur une seule carte graphique

La vitesse constitue un autre résultat important. Le système dépasse 50 images par seconde sur une RTX 5090, ce qui autorise une interaction en temps réel avec les scènes générées. Selon les indications techniques des chercheurs, l'entraînement de l'autoencodeur et celui du modèle de dynamique ont chacun nécessité environ 16 heures sur cette même carte