Un World Model de quatre milliards de paramètres tourne sur des cartes embarquées

Le modèle NVIDIA Cosmos 3 Edge calcule la physique et les mouvements sur des cartes locales. Ce que l'analyse d'action change pour la robotique d'usine.

Cosmos 3 Edge, publié par NVIDIA sur Hugging Face, est un World Model ouvert de quatre milliards de paramètres destiné aux machines qui opèrent hors du datacenter, en usine, en entrepôt ou embarquées dans un véhicule. Il rejoint une famille dont les versions Nano et Super pèsent seize et soixante-quatre milliards de paramètres. La distribution passe par la licence OpenMDW 1.1, poids, code et recettes de post-entraînement compris, pour un usage commercial comme non commercial.

Un World Model apprend comment un environnement se transforme au fil du temps, en représentant les objets, les mouvements, les relations spatiales et les effets d'une action. Pour un bras robotisé, reconnaître un objet ne suffit pas : il faut le situer, suivre le déplacement de la pince, anticiper ce qui se produira au contact et choisir le geste qui mène à bon port. Le modèle peut prédire le résultat visuel d'une action, déduire l'action à l'origine d'un changement, ou générer l'action qui produira l'effet voulu.

L'architecture, dite Mixture-of-Transformers, repose sur deux tours complémentaires. La première, autorégressive, génère du texte token par token pour la compréhension et le raisonnement. La seconde, à diffusion, synthétise images, vidéo, audio et actions par débruitage itératif. Les deux partagent leurs couches d'attention multimodale, ce qui aligne langage, vidéo, audio et action sur une représentation commune. Les façons de décrire une action, pose d'un effecteur, mouvement de caméra, état de préhension, sont ramenées à des vecteurs géométriques compacts couvrant une dizaine de configurations robotiques.

En mode policy, le modèle prédit une action et sa conséquence visuelle attendue. NVIDIA cite trente-deux actions générées par inférence sur Jetson Thor et un contrôle temps réel à 15 Hz, revendique la première place sur VANTAGE-Bench parmi les modèles ouverts de taille comparable, et publie une politique de manipulation entraînée sur le jeu de données DROID.

La carte du modèle détaille aussi ce qui coince. Faute de simulateur physique explicite, la géométrie 3D, la permanence des objets, la dynamique de contact et les lois physiques ne sont qu'approximées, d'où des objets qui disparaissent ou se déforment et des collisions invraisemblables. Le raisonnement peut se tromper sur l'état des objets, les relations causales ou l'ordre temporel, et la qualité chute hors du domaine d'entraînement. NVIDIA écrit que ces sorties ne doivent être prises ni pour une simulation physiquement exacte, ni pour une décision certifiée du point de vue de la sécurité.