OpenArt Arena classe les modèles sur des briefs créatifs

OpenArt Arena classe les modèles d’image et de vidéo selon douze usages créatifs. Ses évaluations à l’aveugle réunissent 1 031 professionnels, mais restent limitées au catalogue de la plateforme.

Seedream 5.0 Pro domine le classement général en image, mais GPT Image 2 passe devant en design graphique et en retouche. En vidéo, Seedance 2.5 occupe la première place générale, tandis que Wan 3.0 prend l’avantage sur le montage. Ces écarts résument l’idée d’OpenArt Arena : le meilleur modèle dépend du travail demandé.

Le classement mis en ligne par OpenArt sépare l’image et la vidéo en douze tableaux. Au lieu d’attribuer une note unique censée couvrir tous les usages, il distingue la publicité, le cinéma, l’animation, le motion design, le graphisme, l’e-commerce, la retouche, le montage et la synchronisation labiale.

Cette organisation cherche à rapprocher les tests des décisions prises pendant une production. Une agence attentive au respect d’un logo ne sélectionne pas nécessairement le même modèle qu’un réalisateur cherchant une continuité entre plusieurs plans. Une retouche localisée ne mobilise pas non plus les mêmes qualités qu’une création libre à partir d’un texte.

La première version de l’index, datée du 15 septembre 2026, couvre sept classements vidéo et cinq consacrés à l’image. Les tableaux généraux mesurent les compétences communes à plusieurs usages. Les autres appliquent des critères propres à une industrie ou à une opération précise.

Cinq dimensions composent le score général en vidéo : respect de la consigne, appréciation esthétique, crédibilité des mouvements et de la physique, cohérence visuelle et qualité sonore. Elles comptent chacune pour 20 %.

Pour l’image, quatre critères reçoivent le même poids : respect de la consigne, appréciation esthétique, fidélité aux références et capacité à proposer une interprétation créative. Le terme « esthétique » reste assumé comme un jugement subjectif plutôt que présenté comme une propriété objectivement mesurable.

Les classements spécialisés modifient ensuite cette grille. En publicité vidéo, les évaluateurs examinent le texte et les logos, la continuité de la marque, le réalisme du produit et la logique de son intégration dans la scène. Le classement cinéma ajoute le contrôle de la caméra et de la lumière, le jeu des personnages, la continuité entre les plans et la compréhension du style demandé.

Le graphisme accorde une place distincte à la typographie, à la mise en page et au respect de la direction visuelle. La retouche privilégie la précision de la modification et la conservation des parties qui ne devaient pas changer. Pour la synchronisation labiale, les tests séparent la parole, le chant, les scènes à plusieurs personnages et les langues.

Chaque confrontation part d’un même brief transmis aux modèles retenus. OpenArt génère une sortie par modèle selon une règle fixe et indique qu’aucun résultat n’est sélectionné manuellement après plusieurs essais. Deux productions anonymisées sont ensuite placées côte à côte.

L’évaluateur ne répond pas à une question générale comme « laquelle préférez-vous ? ». Il vote sur un critère nommé. Une comparaison peut demander quelle vidéo respecte le mieux l’instruction, laquelle maintient le plus fidèlement un visage ou laquelle produit le mouvement le plus crédible. Les identités des modèles restent cachées et leur position à gauche ou à droite change aléatoirement.

Cette séparation limite un problème fréquent des votes de préférence. Une production spectaculaire peut séduire immédiatement tout en ignorant une partie du brief. En isolant la fidélité, la continuité ou le texte, l’Arena tente de mesurer ce qui rend un résultat exploitable, pas seulement celui qui provoque la meilleure première impression.

Les scores publiés proviennent de 1 031 participants. Le panel présenté par OpenArt comprend 28 membres d’un Creative Expert Council et 1 003 « tastemakers ». Le premier groupe réunit des cinéastes, producteurs, directeurs créatifs, enseignants et spécialistes de la création assistée. Le second accueille des professionnels d’agences, des studios, des étudiants, des créateurs et des membres de la communauté OpenArt.

Toutes leurs voix ne comptent pas de la même manière. Le vote d’un membre du conseil reçoit un poids trois fois supérieur à celui d’un tastemaker. Cette hiérarchie donne plus d’influence au groupe sélectionné par OpenArt, même si la majorité du volume provient d’un panel plus large.

Des contrôles cherchent à repérer les votes instables. Entre 2 et 3 % des comparaisons attribuées à certains juges répètent une paire déjà examinée en inversant les côtés. Ces réponses servent à mesurer la cohérence du participant et ne rejoignent pas le calcul final. Aucun juge ne peut non plus fournir une part excessive des votes de sa catégorie.

OpenArt vérifie également les classements en modifiant temporairement le poids accordé aux experts, en retirant le juge ayant réalisé le plus de comparaisons et en changeant l’échantillonnage statistique employé pour calculer l’incertitude. Si l’ordre varie pendant ces tests, la publication du tableau est suspendue pour réexamen.

La méthodologie utilise un modèle statistique de Bradley-Terry. Celui-ci estime la force relative de chaque concurrent à partir de confrontations deux à deux. Battre régulièrement un modèle bien classé influence davantage le résultat que gagner contre un modèle situé en bas du tableau.

Un modèle de référence fixe l’échelle de chaque classement à 1 000 points. Les nombres affichés ressemblent donc à des scores Elo, mais ne correspondent ni à une note sur 1 000 ni à un pourcentage de réussite. Un résultat de 1 125 indique une position relative au sein du tableau concerné.

Les scores de deux catégories ne doivent pas être comparés directement. Un résultat de 1 050 en publicité et la même valeur en cinéma proviennent de critères, de poids et de confrontations différents. Chaque score possède aussi un intervalle de confiance à 95 %. Lorsque les intervalles de deux modèles se chevauchent, OpenArt considère que leurs performances ne peuvent pas être distinguées malgré l’ordre des rangs affichés.

Le premier classement général vidéo place Seedance 2.5 en