Dream-1 : une IA capable de piloter des robots qu'elle n'a jamais rencontrés

Dream Labs présente Dream-1, une IA capable de contrôler de nouveaux robots sans entraînement spécifique, accessible par API dès 3 dollars de l'heure.

Un robot à deux bras, équipé de pinces, pourrait bientôt accomplir ses premières tâches sans avoir été entraîné sur son propre matériel. C'est la proposition de Dream-1, un modèle d'intelligence artificielle développé par Dream Labs, capable de transférer ses connaissances entre différentes machines. Dans ses démonstrations, le système saisit des objets, les déplace, empile des récipients ou manipule des accessoires à partir d'instructions en langage naturel, y compris sur des robots absents de ses données d'entraînement. La jeune entreprise américaine accompagne sa sortie de confidentialité d'une levée de fonds de 90 millions de dollars en amorçage et de l'ouverture d'une API publique, facturée à partir de trois dollars par heure de fonctionnement. Un même modèle pour plusieurs robots

La robotique souffre d'une difficulté récurrente : les compétences acquises par une machine se transfèrent difficilement à une autre. Deux robots peuvent posséder chacun deux bras et des pinces, mais leur géométrie, leurs articulations et leurs systèmes de commande diffèrent. Développer une nouvelle capacité exige alors souvent de collecter des démonstrations sur le matériel concerné, puis d'entraîner ou d'adapter un modèle. Une opération coûteuse, particulièrement pour les fabricants de petites séries et les équipes qui ne disposent pas d'importantes ressources de recherche.

Dream Labs cherche à limiter cette dépendance aux données propres à chaque machine. Son modèle appartient à la famille des World Action Models (WAM), introduite par les travaux DreamZero en février 2026. Ces systèmes apprennent à associer des observations visuelles, l'évolution probable d'une scène et les actions permettant de produire cette évolution. L'ambition est de disposer d'un modèle qui puisse reconnaître une tâche à accomplir et commander un robot différent de ceux utilisés pendant son entraînement.

Cette capacité, appelée généralisation zero-shot, constitue le principal argument de Dream-1. Un développeur disposant d'un robot compatible peut lui transmettre les observations de ses caméras et une instruction, puis récupérer des commandes de mouvement sans procéder d'abord à un apprentissage sur des démonstrations issues de ce robot. L'entreprise limite cependant cette promesse à une catégorie matérielle précise : les robots bimanuels équipés de pinces parallèles. Il ne s'agit pas encore d'un modèle capable de piloter indifféremment n'importe quelle machine. Vingt-sept robots inconnus soumis aux mêmes évaluations

Pour mesurer cette capacité de transfert, Dream Labs a testé Dream-1 sur 27 configurations robotiques inédites en simulation, allant de bras de recherche relativement anciens à des équipements plus récents. Les machines évaluées comprennent notamment PR2, Baxter, ALOHA, Unitree R1, OpenArm 2.0 et des configurations utilisant deux bras UR5e. Le modèle a également été présenté sur plusieurs robots physiques, dans des laboratoires et chez des partenaires internationaux, dont Hugging Face à Paris, KAIST à Séoul, AgiBot à Shanghai et Scale AI à San Francisco.

Les résultats varient sensiblement selon le matériel. En simulation, Dream Labs rapporte un score relatif de 91,2 % pour PiPER, contre 82,8 % pour Trossen Workbench, 73,8 % pour PR2, 63,9 % pour Unitree R1 et 54,2 % pour SO-101. Le robot YAM, utilisé comme référence parce qu'il faisait partie de l'entraînement, correspond à 100 %. Ces valeurs expriment des performances relatives à cette référence, et non des taux absolus de réussite des tâches.

Chaque configuration simulée fait l'objet de 300 essais, comprenant des tests de suivi des instructions et de généralisation à des tâches inconnues. Les démonstrations physiques comprennent notamment le rangement d'objets dans des contenants, l'empilement de tasses, la manipulation de bouteilles et le pliage d'une boîte. Certaines vidéos ne montrent qu'un seul essai, tandis que d'autres présentent une réussite parmi plusieurs tentatives : elles illustrent donc les comportements possibles sans établir une fiabilité uniforme entre les différents robots. Prédire la scène et les gestes qui permettent de la réaliser

La conception de Dream-1 repose sur une représentation commune des actions. Les modèles robotiques traditionnels peuvent prédire directement les angles des articulations, ce qui les rend étroitement liés à la mécanique d'une machine. Dream-1 peut utiliser cette méthode pour les robots qu'il prend en charge nativement, mais il sait aussi produire des consignes décrivant la position et l'orientation à atteindre pour chaque pince, ainsi que son état ouvert ou fermé. Un solveur de cinématique inverse propre au robot traduit ensuite ces consignes en mouvements articulaires.

Cette séparation permet à plusieurs machines de partager une interface de commande, malgré leurs différences physiques. Dream-1 analyse par ailleurs les observations provenant de trois caméras : une vue générale et une caméra sur chacun des deux poignets. Le modèle apprend à prédire conjointement les images futures et les actions, afin de relier le résultat visuel attendu aux mouvements nécessaires pour l'obtenir.

La méthode possède néanmoins des limites. La précision dépend de la qualité du solveur de cinématique inverse, tandis que le modèle ne contrôle pas directement tous les détails du trajet suivi par les bras. Certains mouvements peuvent ainsi devenir difficiles à proximité d'obstacles ou des limites articulaires. Une machine dont la géométrie ou les capacités physiques s'éloignent fortement de celles rencontrées pendant l'entraînement peut également recevoir des consignes impossibles à exécuter. Des performances évaluées face aux modèles généralistes

Dream Labs s'appuie également sur une évaluation réalisée par Robocurve, un organisme spécialisé dans les mesures de capacités robotiques. Sur RoboDojo-RC Tier 1, qui examine des tâches physiques de manipulation, Dream-1 obtient un score moyen de progression de 59, contre environ 48 pour Gemini 4 Argon, le