Praxis-1 transpose le pré-entraînement vidéo de Runway au contrôle robotique

Runway transpose son travail sur les modèles vidéo vers la robotique avec Praxis-1, un World Action Model destiné au contrôle de robots. Le modèle apprend en partie à partir de vidéos classiques plutôt que de dépendre uniquement des démonstrations robotiques, avec des open weights prévus dans les prochains mois.

Apprendre avant même de toucher un robot

Les démonstrations réalisées avec des robots coûtent cher et restent difficiles à accumuler à grande échelle. Praxis-1 part d’une autre source de données : les vidéos produites quotidiennement par des humains.

Runway décrit son premier World Action Model comme une policy généraliste capable d’exploiter le pré-entraînement vidéo pour contrôler ensuite des systèmes physiques. L’objectif est d’acquérir en amont une compréhension du comportement des objets, des mouvements humains et de la progression d’une tâche, avant l’adaptation à un robot particulier.

Cette approche prolonge les recherches menées avec les modèles vidéo interactifs et temps réel de Runway, dont Solaris et GWM Worlds 2. La vidéo web se rapproche des démonstrations robotiques

Runway a comparé un pré-entraînement réalisé avec des vidéos web à des données issues de robots téléopérés. Après fine-tuning, l’erreur finale de placement atteint 16,1 cm avec la vidéo web contre 16 cm avec les démonstrations robotiques.

L’expérience porte sur 93 paires d’évaluation et Runway précise que les écarts inférieurs aux barres d’erreur ne sont pas statistiquement significatifs. Dans ce test, les deux sources de pré-entraînement aboutissent donc à des performances proches.

L’entreprise observe également une amélioration des performances de la policy lorsque le volume de vidéos filmées à la troisième personne augmente. Cette relation constitue l’un des arguments derrière Praxis-1 : déplacer une partie du problème de collecte des données robotiques vers une source disponible à beaucoup plus grande échelle. Des environnements simulés pour tester les policies

Le travail mené sur les World Models intervient également dans l’évaluation. Runway indique avoir comparé les performances de policies simulées dans son World Model avec leurs résultats sur des robots physiques.

L’entreprise rapporte une corrélation de 0,95 entre les deux, un résultat qu’elle juge compétitif face à des méthodes reposant sur des reconstructions 3D plus coûteuses. Cette mesure provient des recherches internes de Runway et devra être confrontée à des évaluations externes et à davantage de configurations matérielles.

Praxis-1 est également montré sur des tâches en plusieurs étapes : un robot mobile approche une étagère, se positionne, saisit un livre puis le déplace. D’autres tests ciblent des situations difficiles pour les policies entraînées uniquement sur des démonstrations, comme les objets transparents, déformables, partiellement masqués ou entourés d’éléments visuellement similaires. Une même policy sur plusieurs robots

Runway présente Praxis-1 comme indépendant d’un type précis de robot ou d’environnement. Les premiers essais sont menés avec Noble Machines, Standard Bots et Ultra, chacun utilisant le modèle sur son propre matériel.

Les configurations comprennent de la manipulation bimanuelle, un bras robotique à six degrés de liberté et une base mobile. Une autre démonstration montre la même policy déplacée d’un studio contrôlé vers une cuisine domestique sans nouvel entraînement.

Cette phase doit servir à identifier les écarts de comportement entre différents matériels et environnements avant l’ouverture du modèle. Des open weights prévus dans les prochains mois

Runway prévoit de publier Praxis-1 avec des open weights, plutôt que de conserver le modèle derrière une API fermée. Aucun poids n’est toutefois disponible au moment de cette présentation.

L’entreprise rattache ce choix aux besoins d’interopérabilité de la robotique, où les développeurs doivent pouvoir adapter les modèles à différents matériels et systèmes de contrôle.

Une phase d’accès anticipé est ouverte aux équipes souhaitant tester Praxis-1 sur leurs propres robots. Les open weights doivent suivre dans les prochains mois, sans calendrier plus précis communiqué pour leur publication.