Qwen (Alibaba) entre dans la robotique avec une suite de trois modèles

Alibaba lance Qwen-Robot Suite, trois modèles d'IA (RobotNav, RobotManip et RobotWorld) pour unifier la navigation et la manipulation en robotique.

Le laboratoire Tongyi d'Alibaba, derrière les modèles Qwen, s'attaque à l'intelligence physique avec le Qwen-Robot Suite, trois modèles de fondation censés combler l'écart entre comprendre le monde et y agir. Qwen-RobotNav couvre la navigation, réunissant sous un seul modèle suivi d'instructions, recherche d'objet, suivi de cible et conduite autonome. Qwen-RobotManip gère la manipulation par bras robotisés, via un espace état-action unifié qui rend compatibles des robots hétérogènes. Qwen-RobotWorld est un world model qui, à partir d'une observation et d'une action décrite en langage naturel, prédit l'état suivant de la scène.

Le fil conducteur : une interface en langage naturel commune aux trois, pensée pour que des modèles Qwen généralistes les appellent comme des outils du monde physique. Pour l'entraînement, Manip revendique plus de 38 000 heures de données exclusivement open source, mêlant démonstrations de robots et vidéos humaines reconverties.

Les rapports techniques sont publiés, RobotNav et RobotManip étant accompagnés de dépôts GitHub publics, et la suite est en pilote chez des clients d'Alibaba Cloud. Qwen avance plusieurs résultats de pointe sur ses propres benchmarks, dont la première place du volet généraliste de RoboChallenge pour Manip, à confirmer de façon indépendante.