AW-0 apprend aux robots à programmer leurs gestes et à anticiper leurs conséquences

Avec AW-0, Berkeley, NVIDIA et Penn réunissent programmation, prédiction vidéo et contrôle robotique dans un modèle entraîné sur 3 000 heures de démonstrations.

Un robot capable de prévoir ce qui va se passer, de produire le programme correspondant et d'exécuter les mouvements nécessaires, au sein d'un même modèle d'intelligence artificielle. C'est le principe d'AW-0, une architecture développée par des chercheurs de l'Université de Californie à Berkeley, de NVIDIA et de l'Université de Pennsylvanie. Leur approche associe trois formes de génération jusqu'ici souvent traitées séparément : du code pour organiser les tâches, de la vidéo pour anticiper l'évolution de l'environnement et des commandes motrices pour agir physiquement.

Baptisé Agentic World Action Models, le système a été entraîné sur environ 3 000 heures de démonstrations humaines et robotiques. Les chercheurs rapportent des gains sur des tâches de manipulation concrètes, comme ranger des fruits, plier des serviettes, utiliser des pinces ou manipuler un cube de Rubik. Sur huit épreuves réalisées avec des robots physiques, AW-0 obtient un score moyen de 71,1, contre 46 pour le meilleur modèle de référence selon la même grille d'évaluation.

L'étude, intitulée Agentic World Action Models, accompagne la publication du code et des ressources du projet. Programmer, imaginer, agir

Les modèles de robotique dits vision-language-action (VLA) associent généralement ce que voit un robot, les instructions qu'il reçoit et les actions qu'il doit effectuer. D'autres architectures, appelées World Action Models (WAM), ajoutent la prédiction de futurs états visuels pour anticiper les conséquences d'un mouvement.

AW-0 pousse cette approche plus loin en intégrant la programmation directement au processus de génération. Un premier composant produit du code décrivant les compétences à mobiliser, les objets concernés et leur ordre d'exécution. Un deuxième prédit les images de la scène à venir, tandis qu'un troisième génère les commandes continues destinées aux moteurs du robot.

Ces trois composantes fonctionnent au sein d'une architecture Mixture-of-Transformers, dans laquelle les informations circulent entre experts au cours d'un même processus de génération par débruitage. Le code influence ainsi les images futures et les actions prédites, plutôt que d'être ajouté comme une instruction extérieure au modèle.

Cette différence apparaît dans l'une des démonstrations proposées par les chercheurs. Lorsqu'un robot reçoit la consigne de laisser uniquement une mangue dans le bol de gauche, le modèle comprenant une composante de programmation prédit une interaction avec le bon fruit. Une version dépourvue de cette composante se dirige vers une pomme.

Le programme apporte ici une représentation explicite de l'intention : quel objet manipuler, dans quel ordre et avec quelle opération. Une bibliothèque de 50 compétences issue de 3 000 heures de démonstrations

Pour apprendre ces comportements, les chercheurs ont réuni environ 2 000 heures de données enregistrées avec des robots YAM à deux bras et 1 000 heures de vidéos égocentriques montrant des manipulations effectuées par des humains.

Ces séquences ne sont pas seulement utilisées comme exemples visuels. Une chaîne d'annotation automatisée les transforme en programmes associés à différentes étapes des gestes observés.

Des agents de programmation identifient les opérations élémentaires, rédigent les instructions correspondantes et regroupent les comportements récurrents dans une bibliothèque de compétences réutilisables. Le dispositif exploite notamment Gemini 3.1 Pro et Claude Code avec Claude Opus 4.8 pour produire et organiser ces annotations.

La bibliothèque finale compte 50 compétences, dont 23 issues des données robotiques et 27 des démonstrations humaines. Les mouvements ainsi décrits peuvent être réutilisés lors de l'entraînement et adaptés à de nouvelles tâches.

Pour plier une serviette, par exemple, le modèle peut s'appuyer sur des routines de saisie, de déplacement, d'alignement et de pliage. Le programme décrit la succession des opérations, tandis que les composantes vidéo et motrice apprennent à tenir compte de la position réelle du tissu et de ses déformations. Jusqu'à 80,8 % de réussite en simulation

AW-0 a été comparé à quatre architectures de référence, π0.5, DreamZero, EgoScale et WLA, sur 50 tâches du benchmark RoboTwin 2.0. Chaque tâche a fait l'objet de 50 essais, dans des environnements visuels standardisés puis modifiés.

Dans les conditions standard, AW-0 atteint 80,8 % de réussite, contre 64,8 % pour WLA, le meilleur concurrent sur cette configuration. L'écart représente 16 points de pourcentage.

Lorsque les chercheurs modifient l'éclairage, les textures, la hauteur des tables ou ajoutent des objets perturbateurs, les résultats chutent nettement. AW-0 descend à 20,6 % de réussite, derrière π0.5, qui conserve 27,7 % dans ces conditions.

Les auteurs ont également étudié un mode hybride dans lequel le robot peut exécuter directement certains programmes générés, à condition qu'ils passent des contrôles de validité et de progression. Sinon, il revient aux commandes motrices prédites par le modèle.

Cette configuration améliore le taux de réussite en environnement visuellement perturbé, qui passe de 20,6 % à 29,2 %. En revanche, elle réduit les performances dans les scènes standardisées, de 80,8 % à 63,1 %.

Le mode hybride a aussi été entraîné sur des démonstrations spécifiques produites à partir de programmes exécutables. Il n'est donc pas possible d'attribuer toute la différence de performance au seul mécanisme de sélection entre code et mouvements appris. Des tâches physiques évaluées sur deux types de robots

Les expérimentations ne se limitent pas à RoboTwin. L'équipe a également évalué AW-0 sur huit tâches réelles, avec deux dispositifs robotiques distincts : YAM, équipé de deux bras et de pinces parallèles, et Tianji–Sharpa, doté de mains articulées à 22 degrés de liberté chacune.

Les tâches couvrent des manipulations variées, depuis l'organisation de fruits et le rangement d'un sac jusqu'au remplacement d'une ampoule, à la distribution de cartes ou à la résolution