Deux millions d’heures de gestes humains pour entraîner les robots
Midcentury sort de stealth avec 15 millions de dollars et une infrastructure destinée au Physical AI. La startup combine un vaste dataset vidéo égocentrique avec Matrix, une plateforme de simulation conçue pour évaluer et post-trainer les politiques robotiques avant leur déploiement.
Des gestes humains plutôt que des pages web
Les modèles de langage disposent d’une quantité considérable de textes, d’images et de code récupérables en ligne. Pour entraîner un robot à manipuler physiquement son environnement, l’équivalent est beaucoup plus difficile à réunir : il faut observer des actions, leur déroulement dans l’espace et les conséquences des mouvements.
C’est sur cette couche que se positionne Midcentury. La startup dit avoir constitué plus de deux millions d’heures de données égocentriques réparties dans plus de 50 environnements et 20 000 tâches. Selon ses chiffres, les mains sont visibles dans 90 % des frames.
La vidéo n’est qu’une partie du dataset. Les séquences sont accompagnées d’informations sur la pose 3D des mains et du corps, la profondeur, le mouvement et les interactions tactiles. Des annotations de sous-tâches et de cycles sont également alignées frame par frame avec des timestamps à la milliseconde.
Midcentury revendique le plus grand dataset égocentrique de ce type au monde. En l’absence de comparaison indépendante permettant d’établir ce classement, cette affirmation reste celle de l’entreprise. Matrix fait répéter les robots avant le réel
La seconde moitié du dispositif concerne la simulation. Matrix sert à tester des politiques robotiques et à les améliorer par reinforcement learning sans multiplier les essais directement sur du matériel physique.
La plateforme combine simulation classique, physique apprise et données issues du monde réel. L’exécution parallèle dans le cloud doit permettre de reproduire des évaluations des milliers de fois avant qu’une politique soit transférée vers un robot.
Le problème visé est celui du sim-to-real : une politique efficace dans une simulation peut échouer dès que les conditions physiques diffèrent légèrement. Midcentury utilise ses données réelles pour rapprocher les environnements simulés des situations auxquelles les systèmes seront confrontés après leur déploiement. Une infrastructure autour du Physical AI
Cette articulation entre données et simulation place Midcentury en amont des robots eux-mêmes. L’entreprise ne construit pas un humanoïde ou une nouvelle politique généraliste, mais l’infrastructure destinée à fournir des données de pré-entraînement, des environnements d’évaluation et des boucles de reinforcement learning aux équipes qui développent ces systèmes.
L’équipe cite des profils passés par Stanford AI Lab, OpenAI, Google DeepMind, NVIDIA, Scale AI et Invisible, avec des travaux antérieurs autour de RoboNet, GDPVal et NVIDIA Cosmos 3. Ces références sont communiquées par Midcentury et ne détaillent pas la contribution individuelle de chaque membre aux différents projets.
La sortie de stealth s’accompagne d’une levée Seed de 15 millions de dollars. Midcentury indique déjà travailler avec des laboratoires de pointe, sans préciser publiquement leur identité.
Les échantillons du dataset et l’accès anticipé à Matrix sont proposés depuis le site de Midcentury.