La vision par ordinateur est restée au stade du modèle par tâche, GenCeption veut en sortir

Des chercheurs de Google DeepMind, avec des universitaires de Toronto, Oxford, MIT et Lund, présentent GenCeption, un travail qui reprend un modèle de génération vidéo déjà entraîné et le recycle en modèle de perception généraliste. Le papier sera présenté à ECCV 2026.

La thèse tient en une analogie. Le traitement du langage est passé de modèles taillés pour une tâche unique à des modèles de fondation généralistes, portés par le pré-entraînement génératif. La vision par ordinateur, elle, en est restée au stade du modèle spécialisé : un pour la profondeur, un pour la segmentation, un pour la pose. Pour les auteurs, l'équivalent visuel du pré-entraînement génératif existe déjà, et c'est la génération de vidéo à partir de texte : pour produire une vidéo crédible, un modèle doit internaliser la géométrie 3D, la permanence des objets et les lois physiques, tout en restant nativement aligné sur le langage.

GenCeption exploite ce socle. Une même architecture, un même jeu de poids, une même fonction de perte servent à toutes les tâches, la consigne textuelle décidant seule de la sortie : profondeur, normales de surface, pose de caméra, segmentation, segmentation guidée par une expression en langage naturel, points clés 2D et 3D. Le modèle de diffusion, habituellement itératif, est converti en modèle à passe unique, ce qui accélère nettement l'inférence.

Deux résultats retiennent l'attention. D'abord l'efficacité en données : entraîné sur des vidéos essentiellement synthétiques, le modèle atteint, selon les auteurs, des performances comparables à des modèles spécialisés de référence avec sept à cinq cents fois moins de données d'entraînement. Ensuite des comportements émergents : entraîné uniquement sur des vidéos synthétiques de personnages humains, il se transfère sans réapprentissage à des séquences réelles, à des scènes contenant plusieurs sujets, et à des catégories jamais vues comme des animaux ou des robots. Les auteurs y voient l'indice d'un world model universel logé dans les générateurs vidéo, et un argument pour considérer la génération de vidéo non comme un simple outil de synthèse, mais comme une voie vers une vision généraliste.