De la vidéo aux gestes des robots : Praxis-1 passe en open weights

Publié en open weights sous Apache 2.0, Praxis-1 prédit vidéo et actions. Ses résultats distinguent simulation et essais sur robots physiques.

Une base à adapter, une version pour un bras Franka et une autre pour un robot à deux bras YAM : la publication de Praxis-1 donne accès aux modèles de contrôle robotique de Runway. Le code comprend l’inférence, un serveur de commande, une simulation MuJoCo et des outils d’ajustement complet ou par LoRA. Le modèle de base, dépourvu des interfaces propres à un robot, doit être adapté avant de le piloter.

Le dépôt de code et les poids sont distribués sous Apache 2.0. Les composants tiers, dont l’encodeur de texte Qwen3.5-2B et le VAE Wan2.2, restent soumis à leurs licences respectives. L’exécution standard demande un GPU disposant d’au moins 80 Go de mémoire ; les seuls poids de la politique occupent environ 54,4 Go en BF16. Prédire la scène suivante et les mouvements qui la produisent

Dans le rapport technique, le World Action Model associe un modèle vidéo à un expert chargé des actions. À partir d’une instruction, des images des caméras et de la position du robot, il prédit conjointement la suite visuelle et les commandes de mouvement. Chaque séquence habituelle couvre 1,6 seconde, avec vingt-quatre commandes à 15 Hz. Les observations réelles du robot alimentent ensuite l’appel suivant.

Le cœur vidéo compte 26,9 milliards de paramètres, dont environ 2,8 milliards activés par token grâce à une architecture à mélange d’experts. Le module d’action ajoute environ 314 millions de paramètres. L’entraînement part de la vidéo générale, puis introduit des vidéos liées à la manipulation et des données d’action avant l’adaptation à un robot particulier. La publication ne décrit donc pas un apprentissage du contrôle fondé uniquement sur des vidéos ordinaires. Une première place parmi les World Action Models

Le classement officiel RoboLab-120 de NVIDIA affiche 555 épisodes réussis sur 1 200 pour Praxis-1, soit un score annoncé de 46,2 %. Le test comprend cent vingt tâches de manipulation en simulation, avec dix essais par tâche pour cette entrée. Le modèle devance les autres World Action Models du tableau, dont FLUX 3 Action à 42,9 %.

Cette première place concerne une catégorie. Dans le tableau général consulté, quatre systèmes obtiennent un score supérieur, plaçant Praxis-1 en cinquième position. Les deux premiers, AMP1 à 86 % et SenseNova-RoboRSI à 57,1 %, sont des agents pilotés par des modèles généralistes. La formulation « numéro un » ne doit donc pas être étendue à l’ensemble des approches évaluées, et le score de ce benchmark reste une mesure en simulation. Adapter le modèle à un robot reste une étape d’entraînement

Pour le robot de Noble Machines, l’équipe rapporte quinze réussites sur quinze essais simulés, répartis entre deux configurations présentes dans les données d’apprentissage. Les démonstrations téléopérées totalisent vingt-neuf minutes, dont vingt-six utilisées pour l’entraînement. L’ajustement prend environ 3,6 heures sur seize GPU. Sur une tâche plus difficile, absente de ces démonstrations, six épisodes sur dix sont entièrement réussis. Le rapport précise que ce test n’a pas encore été réalisé sur le robot physique.

L’expérience sur le robot Google RT-1 utilise un volume différent : environ quatre-vingt-quinze heures de données et vingt-huit heures d’ajustement sur trente-deux H100. Le résultat atteint 80 % dans SimplerEnv, sur quatre tâches et 864 épisodes, contre 52,4 % pour la politique RT-1 de référence. Le robot était absent du préentraînement et de l’entraînement intermédiaire, mais présent dans les données d’adaptation.

Des démonstrations physiques accompagnent ces tests, sur Franka, YAM et le bras SO-101. Les difficultés reconnues concernent la confusion entre objets ressemblants, les instructions vagues et les longues suites d’actions demandées dans une seule consigne. Pour ces dernières, fournir une instruction distincte à chaque étape reste plus efficace selon l’équipe. Une comparaison de vitesse limitée à trois tâches

Pour mesurer le temps et le coût d’exécution, le fournisseur compare sa politique à GPT-6 Astra sur la même station YAM et trois tâches : retirer le capuchon d’un stylo, mettre une éponge dans un sac et y déposer un dé. Les résultats internes annoncent une exécution 15,6 fois plus rapide et un coût par tâche accomplie 51 fois inférieur pour Praxis-1. Ce protocole ne mesure pas une supériorité générale sur les modèles de langage.

Le temps moyen porte sur les épisodes réussis. Le coût par réussite inclut aussi les tentatives échouées, avec un H100 facturé 3,95 dollars de l’heure pour Praxis-1 et la facture API pour Astra. Les dépenses d’entraînement, de collecte des démonstrations et de matériel robotique ne font pas partie de cette comparaison d’inférence.