Deux millions de votes pour mesurer ce que les humains préfèrent dans une image générée

Datapoint publie 2,16 millions de préférences humaines recueillies sur 30 modèles d’image. Un programme distinct finance en crédits les projets de recherche multimodale.

Datapoint AI ouvre les données qui alimentent son classement de modèles de génération d’images. Le jeu réunit 2 161 160 votes humains portant sur 216 116 comparaisons entre deux résultats. En parallèle, l’entreprise constitue une enveloppe d’un million de dollars en crédits pour aider des équipes de recherche à financer leurs propres études sur l’image, la vidéo et l’audio.

Le jeu de données publié sur Hugging Face compare 30 modèles à partir de 500 prompts répartis en dix catégories, dont le marketing, le design de produits et l’animation japonaise. Chaque catégorie compte 50 demandes conçues pour tester plusieurs difficultés : respect d’un nombre exact d’objets, composition, ordre des éléments, négation ou rendu de texte.

Le protocole repose sur un tournoi complet entre les modèles. Les 30 systèmes forment 435 combinaisons possibles, chacune étant testée sur tous les prompts pour lesquels les deux services ont produit un résultat. Près de 5 000 votes directs sont ainsi disponibles pour chaque confrontation.

Chaque modèle n’a généré qu’une image par prompt, avec une graine fixe. Les instructions ont été transmises sans reformulation, sélection parmi plusieurs propositions ou nouvelle tentative destinée à améliorer le résultat. Cette méthode limite l’intervention de l’organisateur, mais elle introduit aussi une contrainte importante : un seul rendu ne suffit pas toujours à représenter la qualité générale d’un modèle dont les sorties peuvent varier d’une génération à l’autre.

Les évaluations ont été menées à l’aveugle. Deux images apparaissaient côte à côte, sans nom de modèle, avec un ordre gauche-droite aléatoire. Les annotateurs devaient répondre à une seule question : laquelle préfèrent-ils ? Chaque paire a reçu dix votes validés.

Cette formulation simple facilite la collecte à grande échelle, mais elle rassemble plusieurs critères dans un même choix. Une personne peut privilégier l’esthétique, une autre le respect du prompt, la lisibilité du texte, le réalisme ou l’absence de défauts. Le classement mesure donc une préférence globale, sans permettre d’attribuer chaque vote à une qualité précise.

Datapoint indique que les réponses proviennent de personnes réparties dans plus de 200 pays. Chaque enregistrement comprend le pays, le temps consacré au choix, un identifiant anonymisé et un score de confiance attribué à l’annotateur au moment du vote. Le temps médian annoncé est d’environ onze secondes.

La diversité géographique ne garantit cependant pas une représentation équilibrée des cultures, des langues ou des profils sociaux. La documentation ne fournit pas la composition démographique complète du panel ni la répartition des votes entre les pays. Le jeu permet donc d’étudier ces écarts, mais pas de considérer automatiquement ses résultats comme une définition universelle du goût.

Le classement Datapoint Image Bench est calculé à partir des votes bruts avec une adaptation du modèle Bradley-Terry. Les dix catégories reçoivent le même poids et FLUX.1 Schnell sert de référence avec un score fixé à 1 000.

GPT Image 2 en mode high arrive en tête du classement général, mais les écarts restent faibles. Les trois premiers modèles sont séparés par moins de dix points Elo, à l’intérieur de leurs intervalles de confiance. Seedream 5.0 Pro domine cinq catégories, GPT Image 2 trois et Nano Banana 2 deux. La première place générale reflète donc davantage une régularité entre les usages qu’une domination dans chaque domaine.

Les résultats montrent également que 18,2 % des comparaisons se terminent sur une égalité après les dix votes. Cette proportion souligne la proximité perçue entre plusieurs modèles récents et rappelle qu’un ordre général peut masquer des préférences beaucoup moins nettes sur certains prompts.

Le classement n’est qu’un usage du corpus. Les données peuvent servir à entraîner ou évaluer des modèles de récompense et de préférence, à préparer des ensembles pour le DPO, à comparer différentes méthodes d’agrégation ou à contrôler les résultats publiés par Datapoint. Les chercheurs peuvent notamment retenir uniquement les confrontations remportées par sept voix contre trois ou davantage afin d’écarter les choix les plus indécis.

Une séparation entre entraînement et test est déjà fournie. Cinquante prompts, soit cinq par catégorie, sont réservés au test. Ils correspondent à 21 663 paires et 216 630 réponses. Aucun prompt n’apparaît dans les deux ensembles, ce qui limite le risque d’évaluer un système sur des instructions déjà utilisées pendant son entraînement.

Le corpus comprend aussi 14 952 images, la liste des modèles, leurs identifiants d’API, leur coût unitaire et les différentes grilles d’évaluation associées aux prompts. L’ensemble représente 34,9 Go. Le nombre d’images reste légèrement inférieur aux 15 000 résultats théoriques correspondant à 30 modèles multipliés par 500 demandes, certains services n’ayant pas produit de sortie pour chaque cas.

Datapoint présente cette publication comme le plus grand jeu ouvert de préférences humaines consacré à la génération d’images. Cette affirmation repose sur une comparaison avec plusieurs références publiques, notamment Pick-a-Pic v2, HPS v2 et ImageReward. Elle reste formulée par l’entreprise et ne couvre pas nécessairement les corpus privés détenus par les laboratoires.

L’accès n’est pas totalement sans condition. Le dépôt est visible publiquement, mais le téléchargement impose de communiquer ses coordonnées à Datapoint, d’accepter l’attribution prévue par la licence CC BY 4.0 et de s’engager à ne pas tenter d’identifier les annotateurs. La licence couvre les votes, les prompts et les métadonnées. Les droits associés aux images restent soumis aux conditions des fournisseurs ayant produit chaque résultat.

La publication accompagne un programme doté d’un million de dollars destiné aux chercheurs qui ont besoin de nouvelles évaluations humaines. Il ne s’agit pas d’un financement versé en numéraire, mais de crédits utilisables sur la plateforme Datapoint