De l'image au storyboard, Tencent propose un nouveau protocole pour évaluer la vidéo IA

Avec OmniVBench et Omni-R2V, Tencent propose un benchmark et 340 000 exemples d’entraînement pour évaluer le contrôle des vidéos générées par IA.

La génération vidéo par intelligence artificielle ne se limite plus à transformer une description textuelle en séquence animée. Images de personnages, mouvements de caméra, croquis, styles graphiques ou storyboards servent désormais de références pour guider les modèles. Mais une vidéo convaincante à première vue peut s'écarter des consignes initiales : reprendre le bon personnage sans respecter son mouvement, conserver une composition tout en modifiant le style demandé, ou mélanger des éléments provenant de plusieurs sources.

Des chercheurs de Tencent, de l'Université chinoise de Hong Kong et de l'Université des sciences et technologies de Hong Kong (Guangzhou) ont développé OmniVBench, un protocole d'évaluation consacré à ces situations. Leur travail s'accompagne d'Omni-R2V, un jeu de données d'environ 340 000 exemples destiné à l'entraînement de modèles capables de générer des vidéos à partir de références multiples. Évaluer ce qu'une vidéo respecte réellement

Les classements de génération vidéo reposent souvent sur une appréciation globale du résultat. Une séquence peut obtenir une bonne note pour sa qualité visuelle ou sa ressemblance générale avec une référence, sans reproduire correctement les éléments qui devaient être conservés.

La méthode décrite dans l'étude OmniVBench distingue trois dimensions : la fidélité aux références, le respect des instructions et la qualité intrinsèque de la vidéo.

La première vérifie si les caractéristiques attendues ont été préservées : identité d'un personnage, apparence d'un objet, trajectoire de caméra, style ou progression narrative. La deuxième mesure si le modèle a correctement appliqué les transformations demandées. La troisième évalue indépendamment la qualité technique, esthétique et la plausibilité physique du résultat.

Cette séparation permet d'identifier des erreurs difficiles à distinguer dans une note unique. Un modèle peut produire une vidéo esthétique tout en transférant le mouvement d'un personnage au mauvais sujet ou en conservant des détails qui auraient dû disparaître. Sept familles de tâches, du personnage au storyboard

Le benchmark réunit 813 cas d'évaluation, organisés en sept familles et 18 sous-tâches. Les chercheurs couvrent les références de contenu, de mouvement, de style, de structure, de narration, les compositions à plusieurs sujets et les combinaisons de références portant sur différents aspects de l'image.

Dans les tâches de contenu, le modèle doit préserver l'identité ou certaines caractéristiques d'un personnage, d'un objet ou d'un environnement. Les tests de mouvement examinent sa capacité à transférer une action ou un déplacement de caméra sans recopier inutilement les autres éléments de la vidéo source.

Les références structurelles comprennent des dessins au trait, des représentations géométriques simplifiées (greyboxes) et des storyboards préparatoires. Les tâches narratives vont plus loin : produire un plan cohérent avec le précédent ou transformer plusieurs cases de storyboard en une séquence animée.

Enfin, les évaluations multiréférences demandent d'assembler des éléments provenant de sources différentes. Il peut s'agir de conserver l'apparence d'un personnage représenté dans une image, de lui appliquer le mouvement provenant d'une vidéo et de respecter une composition imposée par un dessin.

Pour examiner ces contraintes, OmniVBench utilise 12 172 points de vérification spécifiques aux exemples. Les critères déterminent non seulement si les références ont été utilisées, mais aussi si leurs caractéristiques ont été attribuées aux bons éléments du résultat. Seedance 2.5 et MiniMax H3 parmi les modèles les mieux classés

L'équipe a évalué 11 modèles, parmi lesquels Seedance 2.0 et 2.5, Kling 3.0 Omni, Gemini Omni, Happy Horse 1.0, MiniMax H3 et plusieurs alternatives ouvertes.

Les résultats du classement global placent Seedance 2.5 en tête avec 72,68 points, suivi de MiniMax H3 à 72,41 points. Seedance 2.0 obtient 70,91 points, devant Happy Horse 1.0 à 70,89 et Gemini Omni à 70,76.

Cette proximité des scores globaux masque des différences selon les tâches. Gemini Omni obtient notamment 75,11 points sur les références narratives, tandis que Seedance 2.5 atteint 73,35 points sur les références structurelles. MiniMax H3 présente, dans cette évaluation, les meilleurs résultats parmi les modèles classés dans la catégorie open source.

Les analyses montrent surtout que les références de contenu sont généralement mieux respectées que celles de mouvement ou de style. Selon le type de référence utilisé, les performances varient considérablement, même pour les modèles les mieux classés. Un bon résultat sur la conservation des personnages ne garantit donc pas la maîtrise des mouvements de caméra, de la continuité narrative ou des compositions complexes.

Ces résultats correspondent aux modèles et aux configurations testés dans l'étude. Ils ne constituent pas un classement général de toutes les capacités de génération vidéo. Un protocole qui détaille les erreurs

Pour construire les évaluations, les chercheurs définissent d'abord les caractéristiques que chaque référence doit transmettre. Des modèles vision-langage permettent ensuite de préparer des listes de critères adaptées à chaque exemple, vérifiées manuellement avant leur utilisation.

La fidélité aux références et le respect des instructions sont évalués séparément. Les jugements de qualité vidéo s'appuient sur des outils spécialisés dans la qualité technique, l'esthétique et la cohérence physique.

L'équipe a également comparé les évaluations automatiques aux notes attribuées par trois personnes sur un échantillon de 100 cas. Les corrélations de Spearman atteignent 0,77 pour la fidélité aux références, 0,74 pour le respect des instructions et 0,82 pour la qualité vidéo.

Les listes de vérification détaillées présentent une meilleure corrélation avec les évaluations humaines qu'une appréciation globale, particulièrement pour la fidélité aux références. Près de 340 000 exemples pour