Des consignes courtes pour piloter les robots avec Verne V0.5

Le modèle open weights associe apprentissage vidéo et commandes robotiques. Ses démonstrations combinent gestes appris et planification séparée.

Deux robots se partagent une opération logistique : le premier apporte un bac depuis une étagère, le second scanne et trie son contenu, puis le premier range le bac vide. Dans cette démonstration de Verne V0.5, chaque machine exécute des consignes courtes. Une couche de raisonnement distincte, identifiée comme ChatGPT Astra dans les publications de présentation, suit leur progression et distribue les étapes suivantes.

Le modèle de commande reçoit les images des caméras, l’état du robot et une instruction en anglais. Il conserve une mémoire de l’épisode et produit les mouvements à venir. Cette séparation sert aussi à assembler une trousse de maquillage : la planification vérifie les produits déjà présents, demande d’ajouter les suivants et peut faire récupérer un article tombé avant de poursuivre. Des poids diffusés sous conditions commerciales

Les poids du modèle de base sont accessibles sur demande, après examen par l’équipe et acceptation de la licence. Deux versions supplémentaires sont ajustées pour les environnements de simulation LIBERO et RoboTwin 2.0. La publication comprend le code du modèle et un ensemble minimal pour l’exécuter, mais aucun code d’entraînement ou d’ajustement. Une plateforme du fournisseur est proposée pour adapter le modèle aux démonstrations d’un utilisateur.

La Verne V0.5 Model License autorise la recherche non commerciale sans condition de chiffre d’affaires. L’usage commercial est accordé sans redevance jusqu’à 5 millions de dollars de chiffre d’affaires annuel, en incluant les entités affiliées. Au-dessus, un accord commercial distinct est nécessaire. La désignation open weights ne correspond donc pas ici à une licence open source sans restriction commerciale. La prédiction vidéo intervient pendant l’apprentissage

L’architecture part du modèle vidéo Wan2.2, adapté aux observations robotiques, puis associe un transformeur vidéo et un transformeur d’action entraînés ensemble. Le premier apprend comment une scène évolue ; le second relie ces changements aux mouvements du robot. Le préentraînement annoncé porte sur plus de 1,7 million de démonstrations provenant de fournisseurs, de jeux de données publics et de collectes internes.

Pendant l’exécution, aucune vidéo future n’est générée. À partir de trois vues de caméra et de l’historique, le réseau fournit 32 cibles de mouvement à 30 Hz, soit environ 1,07 seconde. Elles décrivent les positions et orientations des outils au bout des bras, l’ouverture des pinces et le déplacement de la base mobile. Une couche d’exécution transforme ensuite ces cibles en trajectoires propres à la machine.

Les 8,2 milliards de paramètres annoncés concernent le fichier principal des poids ; l’encodeur de texte et le composant de compression vidéo sont chargés séparément. Le dépôt d’inférence indique un GPU NVIDIA doté d’au moins 24 Go de mémoire. Le modèle de base doit encore être ajusté au robot, à ses caméras et aux tâches visées. Les gains publiés concernent des environnements simulés

Dans la fiche d’évaluation LIBERO, le taux moyen de réussite atteint 99,3 % sur 2 000 épisodes, contre 96,85 % pour π0.5 dans les résultats comparés. La suite Long, consacrée aux tâches comportant plusieurs étapes, atteint 99,2 %. La première place revendiquée concerne les modèles open weights développés par des entreprises américaines : le tableau du fournisseur donne à ABot-M0.5 une moyenne légèrement supérieure, à 99,4 %.

Sur les cinquante tâches à deux bras de RoboTwin 2.0, les résultats rapportés sont de 81 % dans les scènes sans perturbation et de 73,4 % lorsque changent l’encombrement, l’éclairage, les textures ou la hauteur des tables. Le score comparé de π0.5 tombe à 46 % dans ces scènes modifiées, soit un écart de 27,4 points. D’autres modèles figurent devant V0.5 dans le même tableau. L’ajustement utilise uniquement les scènes sans perturbation, avec cinquante démonstrations par tâche.

Ces taux proviennent de simulations et ne mesurent pas la fiabilité d’un atelier en production. Les vidéos physiques montrent d’autres tâches, dont le chargement d’un chariot après moins de deux heures de données d’ajustement selon l’équipe. Cette durée désigne les démonstrations collectées, pas le temps total d’entraînement. Le contrôleur influence la précision du geste

La continuité du mouvement dépend aussi du logiciel qui relie les prédictions aux moteurs. Pendant que le réseau prépare une nouvelle séquence, le robot poursuit les mouvements déjà engagés ; la séquence suivante conserve ces cibles pour éviter une rupture. Un contrôleur séparé fonctionne à 500 Hz.

Une comparaison interne sur le démontage de LEGO utilise la même politique V0.5 avec deux contrôleurs, sur vingt essais chacun. L’erreur médiane de suivi annoncée varie de 9 à 26 millimètres avec le contrôleur YAM d’origine, contre 2,2 à 3,5 millimètres avec celui de Verne, selon la vitesse.