NVIDIA fonde le Cosmos Coalition et ouvre le modèle Cosmos 3

NVIDIA lance Cosmos Coalition et ouvre Cosmos 3, un omnimodel de Physical AI conçu avec Runway pour simuler le monde réel et entraîner robots et véhicules.

NVIDIA fédère un consortium baptisé Cosmos Coalition pour développer et ouvrir des world models destinés à la Physical AI, l'IA appelée à agir dans le monde réel comme les robots ou les véhicules autonomes. Ces modèles simulent l'environnement physique : ils en prédisent les interactions et génèrent des scènes réalistes, de quoi produire des données synthétiques pour entraîner robots et véhicules sans tout filmer et raccourcir les cycles de développement.

L'initiative fonctionne en écosystème ouvert : les membres apportent modèles, recherche et évaluations, et mutualisent les outils d'entraînement et l'infrastructure de NVIDIA. Poids, code et jeux de données sont publiés sous la licence OpenMDW 1.1 de la Linux Foundation. Parmi les membres fondateurs figurent Runway, LTX, Black Forest Labs, Agile Robots, Generalist et Skild AI, Runway co-développant par ailleurs un modèle de base avec NVIDIA.

Le socle technique est Cosmos 3, présenté comme le premier omnimodel ouvert, qui combine texte, image, vidéo, son ambiant et action. Il repose sur une architecture dite mixture-of-transformers, séparant le raisonnement de la génération, et se décline en versions Super (précision maximale), Nano (rapide, pour l'edge) et bientôt Edge (temps réel). Le modèle est disponible sur Hugging Face avec ses poids, ses jeux de données et ses recettes de fine-tuning, et NVIDIA le revendique en tête des benchmarks d'IA physique.