Le transfert de gestes humains aux robots au cœur de GR00T 2

Des vidéos humaines et des données robotiques entraînent GR00T 2. NVIDIA mesure le transfert entre machines et l’adaptation avec peu d’exemples.

Sur cinquante tâches absentes des démonstrations du robot testé, GR00T 2 atteint 40 % de réussite sans adaptation spécifique. Cinq démonstrations par tâche portent cette moyenne à 95 %, après environ trente minutes d’ajustement sur une RTX 5090. Ces résultats internes à NVIDIA illustrent le programme de ce modèle robotique : réutiliser des gestes observés chez des humains ou sur d’autres machines, puis adapter leur exécution au robot qui doit agir.

Le périmètre de l’expérience compte autant que le score. Le rapport technique précise que les cinquante tâches ont été choisies parmi celles que le modèle apprend avec cinq démonstrations, avec au moins 80 % de réussite. Le niveau final est donc élevé en partie du fait de cette sélection. Avant adaptation, quarante tâches sur cinquante sont réussies au moins une fois : ce décompte ne correspond pas à 80 % de réussite moyenne des essais. Les 95 % ne décrivent pas non plus un modèle devenu universel après trois minutes d’observation : les démonstrations et l’ajustement concernent chaque tâche.

Présenté à la conférence CoRL, le projet appartient à la famille des World Action Models, qui prédisent ensemble des actions et l’évolution visuelle de la scène. La publication du code est annoncée pour décembre 2026. La page de recherche ne précise pas encore les conditions de licence du modèle, qualifié d’ouvert dans la communication de NVIDIA.

Le mécanisme utilise un historique récent de trois caméras, une instruction et l’état du robot. Un transformer de diffusion produit conjointement une vidéo future et un bloc de commandes. Des composantes propres à chaque machine traduisent les sorties en actions adaptées à son corps. Le robot exécute une séquence, recueille de nouvelles observations et recommence. Les vidéos futures montrées sur la page du projet sont des prédictions du modèle, à distinguer des images réellement enregistrées pendant l’action.

Cette adaptation rapide vient après un préentraînement important. Le mélange décrit comprend 402 730 heures de vidéos humaines à la première personne, 10 184 heures de démonstrations avec une pince tenue à la main et 23 500 heures de téléopération de robots. Les données couvrent des bras à pinces, des mains articulées et un humanoïde. Un sous-ensemble de 100 000 heures de vidéos humaines est accessible sur Hugging Face. Les quelques démonstrations ajoutées pour une nouvelle tâche complètent cet apprentissage préalable.

Le transfert depuis l’humain est également testé séparément. Sur Dexter, un robot à deux mains Sharpa, la préparation d’un filtre en papier dans un entonnoir atteint 65 % de réussite sur vingt essais, alors que la tâche a été montrée uniquement par des personnes. Le robot dispose néanmoins de données générales pour apprendre l’apparence et les mouvements de son propre corps. Les résultats varient fortement selon le geste : une autre manipulation de laboratoire, consistant à tamponner une lame de microscope, ne réussit que dans 10 % des essais.

La distinction entre décision et exécution apparaît dans les expériences avec un agent de raisonnement séparé. Celui-ci décompose le travail, observe sa progression et appelle GR00T 2 par une API pour les manipulations. Il peut aussi mobiliser d’autres outils de commande pour récupérer une pièce tombée ou débloquer une situation. Dans cette configuration, le bras YAM assemble trois jouets dans respectivement 98, 97 et 97 essais sur cent. Ces scores concernent l’ensemble agent, modèle et outils de récupération ; la politique adaptée sans cet agent obtient entre 71 et 84 réussites selon le jouet.

Un second mode de pilotage ajoute des marques sur l’image de la caméra pour indiquer où saisir et où déposer un objet. Sur YAM, les instructions détaillées et ces repères portent la réussite de consignes courtes de placement à 92 %, contre 40 % avec la seule instruction générale. Pour une tâche longue de tri de déchets, la même méthode donne dix-sept réussites sur vingt. Le transfert vers Dexter reste plus difficile : les marques aident à déplacer davantage d’objets, mais aboutissent rarement au tri complet.

La variante Turbo vise l’exécution embarquée sur l’humanoïde Unitree G1. Avec une représentation vidéo plus compacte, elle produit une prédiction en 124 millisecondes sur Jetson Thor, selon les mesures publiées. Ce temps porte sur le calcul d’une séquence de mouvement. Le contrôleur SONIC transforme ensuite les commandes de mouvement du corps en cibles articulaires à 50 Hz. Le modèle de raisonnement de haut niveau reste extérieur à cette exécution embarquée.

Les essais sur le G1 montrent enfin que la réussite dépend encore du travail demandé. Le robot réussit les quarante-huit essais de service de popcorn et débarrasse une table dans environ 93 % des trente essais consacrés à cette tâche. Le nettoyage d’un liquide renversé reste à environ 47 % sur trente essais.