Les gestes professionnels comme données pour la robotique : le projet HubEgo-100K

La première publication de HubEgo-100K rassemble plus de 10 000 heures de gestes filmés, pour étudier l’apprentissage robotique dans des contextes variés.

La microsoudure de cartes de téléphone, la réparation de montres ou la maçonnerie figurent parmi les activités enregistrées dans HubEgo-100K. Ce corpus de vidéos à la première personne documente des personnes au travail, dans leurs ateliers, sur des chantiers ou à domicile. Le projet vise à fournir à la recherche robotique des observations de manipulations réalisées avec des outils, des objets et des environnements variés.

Les 100 000 heures annoncées doivent être diffusées par étapes. La première publication répertorie 10 124 heures, réparties en 72 754 épisodes provenant de 12 227 contributeurs. Le reste est annoncé par lots au cours des prochaines semaines. Le nom du jeu de données décrit donc l’ampleur du programme, et non le volume intégralement publié dès cette première version. La diversité des lieux comme axe de collecte

Le corpus se concentre sur les gestes techniques, avec plus de 62 000 descriptions distinctes réparties entre 56 types de tâches et 30 catégories de travail. Une seconde classification décrit 35 familles d’actions, telles que couper, assembler ou nettoyer. Un même geste apparaît ainsi avec différents outils et matériaux, plutôt que dans une seule configuration répétée.

Selon la documentation, 83 % des heures proviennent de lieux de travail. Le préprint dénombre 15 548 environnements, définis comme le cadre d’un contributeur dans un type de lieu donné. La collecte comprend notamment des ateliers, des cuisines professionnelles, des entrepôts et des exploitations agricoles, en plus des activités réalisées dans des logements.

Pour justifier ce choix, Hub cite une étude de Fanqi Lin et de ses coauteurs, présentée à ICLR 2025. Sur les tâches de manipulation étudiées, la capacité des systèmes à fonctionner avec de nouveaux objets et dans de nouveaux lieux progresse surtout avec la diversité des situations d’entraînement. Au-delà d’un certain seuil, ajouter des démonstrations dans le même contexte apporte moins. Cette étude soutient une stratégie de collecte ; elle ne mesure pas les performances de robots entraînés avec HubEgo-100K. Une caméra portée sur la tête, des capteurs synchronisés

Les enregistrements associent une vidéo couleur en 1080p à 30 images par seconde et des mesures d’accéléromètre et de gyroscope à 100 Hz. Ces capteurs renseignent le mouvement du dispositif porté sur la tête. Les données sont organisées au format LeRobot v3, avec les flux de capteurs natifs conservés en MCAP.

La visibilité des mains constitue un critère central. Le préprint estime qu’au moins une main apparaît dans environ 95 % des images échantillonnées. Il annonce aussi 96,9 % du temps consacré à l’exécution de la tâche dans les séquences retenues. Ces mesures proviennent d’une analyse automatique par modèle vision-langage.

Chaque épisode reçoit une description, des instructions, une famille d’action, un niveau de difficulté et un contexte d’enregistrement. La fiche précise que ces annotations générées automatiquement n’ont pas été vérifiées par des personnes. La première version du préprint documente la collecte et la diversité ; les auteurs annoncent des benchmarks dans des versions ultérieures. Une licence commerciale ouverte, un accès sur formulaire

Le corpus est proposé sous CC BY 4.0, qui autorise la réutilisation et l’adaptation, y compris commerciales, avec attribution, lien vers la licence et indication des modifications éventuelles. L’accès aux données nécessite toutefois un compte Hugging Face et un formulaire renseignant notamment l’affiliation et l’usage envisagé. La gratuité ne correspond donc pas à un téléchargement anonyme immédiat.

Selon Hub, les contributeurs ont accepté l’utilisation de leurs enregistrements pour entraîner et évaluer des systèmes d’IA et de robotique. Avant publication, l’entreprise indique avoir retiré les séquences détectées comme contenant des mineurs, le visage d’autres personnes ou des textes privés. L’audio, la localisation et les informations identifiant les contributeurs ont également été retirés du corpus diffusé.