Un modèle vidéo qui apprend la physique aux robots : LingBot-Video

Robbyant, la filiale d'IA incarnée du groupe Ant, ouvre en open source LingBot-Video, présenté comme le premier modèle de fondation vidéo à base de MoE (mixture of experts) pensé pour l'IA incarnée, c'est-à-dire les machines qui agissent dans le monde physique. Le modèle compte 30 milliards de paramètres, dont 3 milliards seulement activés à l'inférence.

Là où la plupart des générateurs vidéo cherchent le beau plan, LingBot-Video vise l'ancrage physique dont un robot a besoin. Son architecture mêle un Diffusion Transformer (DiT) à une couche MoE, pour un rendu revendiqué à environ trois fois l'efficience d'un modèle dense, condition d'un usage dans les boucles de contrôle en temps réel. Côté données, l'éditeur ajoute 70 000 heures de séquences incarnées (manipulation fine, navigation, interaction à la première personne) au pré-entraînement sur vidéos issues d'internet, pour apprendre au modèle comment une action modifie son environnement et pas seulement à quoi ressemble une vidéo. Le post-entraînement mobilise un renforcement multi-critères récompensant la plausibilité physique et l'accomplissement de la tâche.

Ce socle sert de simulateur vidéo pour bras robotisés, humanoïdes, quadrupèdes ou plateformes mobiles, en générant progression de l'action, états de contact et retours de l'environnement, à des fins de synthèse de données, d'évaluation de politiques et de planification. Sur le banc RBench (coproduit par l'université de Pékin et ByteDance), Robbyant revendique la première place devant des concurrents comme Wan2.6, Seedance 1.5 Pro et Cosmos3 Super sur la génération de comportements robotiques physiquement crédibles.

Poids, code, rapport technique et page projet sont accessibles sur Hugging Face, GitHub et ModelScope.