L’équipe de Kinetix rejoint Runway pour faire passer ses World Models à l’action

Kinetix intègre l’équipe parisienne de Runway, spécialiste du mouvement humain en 3D, pour renforcer ses World Models destinés à la robotique.

Faire marcher un personnage sans que ses pieds glissent, transférer une danse vers un autre corps ou garder une main posée sur un objet pendant un mouvement. Ces problèmes issus de l’animation 3D rejoignent désormais une question plus vaste : comment apprendre à une machine à agir dans un environnement qu’elle ne connaît pas encore ?

Runway annonce que l’équipe de Kinetix va rejoindre son pôle parisien. Le laboratoire français apporte six années de travaux consacrés au mouvement humain en 3D, à la génération vidéo contrôlée par des données géométriques et à la création de jeux de données décrivant les contacts entre un corps et son environnement.

L’annonce ne parle pas explicitement du rachat de Kinetix. Runway indique seulement que son équipe rejoint l’entreprise. Aucun montant, échange de titres ou transfert de propriété intellectuelle n’est détaillé. Le devenir de la société française, de ses services et de ses contrats existants reste également inconnu.

L’opération se rapproche donc davantage d’une intégration d’équipe que d’une acquisition classique documentée. Runway recrute un groupe déjà constitué, ses compétences et probablement une partie de ses travaux, mais ne précise pas si l’entité juridique Kinetix sera absorbée ou maintenue.

Fondée à Paris en 2020 par Yassine Tahi et Henri Mirande, Kinetix s’est d’abord fait connaître avec un outil capable de convertir une vidéo en animation 3D. Une personne pouvait filmer un mouvement, puis le transférer vers un avatar sans studio de capture spécialisé ni travail manuel image par image.

La jeune entreprise avait levé 11 millions de dollars en 2022 lors d’un tour d’amorçage dirigé par Adam Ghobarah, fondateur de Top Harvest Capital. The Sandbox, Zepeto, Sparkle Ventures, Entrepreneur First, Xavier Niel et plusieurs entrepreneurs avaient également participé à l’opération.

Son discours était alors étroitement lié au métavers et aux contenus créés par les utilisateurs. Kinetix voulait donner aux joueurs la possibilité de concevoir leurs propres gestes, danses et expressions destinés à des personnages virtuels. L’effacement progressif du terme « métavers » n’a pas supprimé le problème technique traité par l’entreprise : comprendre comment un corps se déplace dans l’espace.

Kinetix s’est ensuite recentré sur la recherche en mouvement humain, l’animation 3D et la vidéo générative contrôlable. La société indique que ses technologies ont été intégrées à Adobe Mixamo, aux services Muse de Unity et à Overdare, une plateforme de Krafton où les joueurs peuvent créer des animations personnalisées.

Son principal savoir-faire concerne la conversion et le transfert des mouvements. Une animation enregistrée sur une personne ou un personnage ne peut pas simplement être copiée vers un autre corps. Les membres n’ont pas la même longueur, les articulations diffèrent et le volume du torse change. Un transfert approximatif crée des pieds flottants, des bras qui traversent le corps ou des mains qui perdent le contact avec un objet.

Kinetix a développé un système de motion retargeting sensible à la forme du personnage. Au lieu de traiter uniquement la position des articulations, il prend en compte la géométrie du corps cible et les points de contact importants. Une main posée sur une hanche doit y rester, même si le personnage possède des épaules plus larges ou des bras plus courts.

Cette capacité intéresse directement l’animation, mais son usage en robotique demande une étape supplémentaire. Copier un geste humain vers un robot ne consiste pas seulement à adapter deux silhouettes. Il faut tenir compte du nombre d’articulations, de leur amplitude, de l’équilibre, de la vitesse des moteurs, de la force appliquée et des contraintes propres à chaque machine.

Kinetix avait commencé à relier ses recherches à ce domaine. Son équipe a construit une chaîne de données synthétiques à partir de centaines d’heures de capture de mouvements. Plus de 75 personnes aux morphologies et pratiques différentes ont participé aux enregistrements, avec des gestes allant de la marche quotidienne aux mouvements de sportifs, danseurs et cascadeurs.

Les séquences ont été annotées avec les types d’actions, les contacts au sol, les interactions avec les objets et les positions du corps. Kinetix les a ensuite transférées vers plus de 1 000 personnages virtuels, puis placées dans des environnements produits avec Unreal Engine. L’éclairage, la caméra, le décor et la morphologie pouvaient varier pour fabriquer des millions d’exemples appariés.

Une telle chaîne fournit une correspondance connue entre la vidéo observée et le mouvement 3D qui l’a produite. Le modèle ne doit plus deviner entièrement la profondeur, la trajectoire des membres ou la position de la caméra à partir d’une image plate. Ces informations existent dans les données utilisées pendant l’entraînement.

Kinetix a repris ce principe dans Kamo-1, son modèle de génération vidéo conditionné par la 3D. Le système reçoit une animation corporelle, une trajectoire de caméra, une carte de profondeur, une image de référence et une instruction textuelle. Il produit ensuite une vidéo en essayant de respecter séparément le déplacement du personnage et celui de la caméra.

Cette séparation répond à une faiblesse fréquente de la vidéo générative. Lorsqu’une caméra tourne autour d’une personne, le système peut confondre le mouvement du point de vue avec celui du sujet. Le corps dévie alors de sa trajectoire, glisse ou change de proportions. Des coordonnées 3D donnent un repère plus stable pour distinguer ces déplacements.

Kamo-1 ne maintient pas encore une représentation complète et persistante de toute la scène. Kinetix reconnaît que le personnage et la caméra reçoivent des indications 3D plus précises que le décor, les surfaces et les objets. Le modèle génère une vidéo guidée par la géométrie, pas un environnement entièrement reconstruit et consultable sous tous les angles.

La société précise aussi que la présence de données 3D ne suffit pas à enseigner les lois