SVG-Bench : 352 000 votes humains pour comparer les IA qui génèrent des images vectorielles

Datapoint AI publie SVG-Bench, un jeu de données ouvert réunissant 352 270 votes humains pour comparer 14 modèles IA de création vectorielle.

Une illustration vectorielle peut être visuellement réussie tout en comportant des erreurs de proportions, de typographie ou de composition. À l'inverse, un fichier SVG techniquement valide ne garantit pas que son contenu corresponde à la demande initiale. Pour comparer les capacités des modèles d'intelligence artificielle sur ce terrain, Datapoint AI a constitué SVG-Bench, un jeu de données réunissant 352 270 votes humains sur des créations produites par 14 modèles. L'évaluation couvre les logos, les icônes, les illustrations, les diagrammes, les interfaces et plusieurs exercices de précision graphique. Les résultats montrent des écarts importants entre les spécialités : un modèle performant en illustration peut se retrouver parmi les derniers lorsqu'il doit construire un schéma respectant des instructions précises. Un benchmark fondé sur des comparaisons visuelles

SVG-Bench repose sur 400 instructions originales, réparties équitablement entre huit catégories. Pour chaque demande, les 14 modèles évalués doivent produire directement le code SVG correspondant. Les fichiers sont ensuite affichés dans Chromium, sur un fond blanc, puis convertis en images de 1 024 × 1 024 pixels.

Les participants ne voient pas le nom des modèles. Ils reçoivent la consigne originale et deux images produites à partir de celle-ci, puis doivent indiquer celle qu'ils préfèrent. Chaque paire reçoit dix évaluations indépendantes, afin qu'une préférence ne repose pas sur le jugement d'une seule personne.

Le protocole a mobilisé 20 323 personnes dans 183 pays. Il totalise 35 227 comparaisons validées, chacune associée à dix votes, soit exactement 352 270 réponses. Datapoint avait initialement prévu de confronter chaque modèle à tous les autres sur l'ensemble des instructions. Les comparaisons pour lesquelles l'un des systèmes n'avait pas fourni de SVG utilisable ont cependant été exclues du vote.

Cette méthodologie mesure avant tout une préférence humaine entre deux rendus. Elle n'évalue pas directement la facilité de modification du code, la qualité de sa structure ni l'accessibilité du document vectoriel. L'image préférée n'est pas nécessairement celle qui respecte le mieux toutes les contraintes formulées dans la demande. GPT-6 Astra prend la tête, mais le classement reste serré

Le classement général est calculé avec un modèle statistique de Bradley-Terry, qui transforme les préférences observées en scores Elo. Les huit catégories contribuent à parts égales au résultat final, afin d'éviter qu'un type de visuel domine l'ensemble de l'évaluation.

GPT-6 Astra arrive premier avec 1 065,6 points Elo, devant Gemini 3.8 Flash à 1 059,2 et Muse Wonder à 1 047,3. Les deux modèles suivants, Claude Fable 5.1 et Claude Opus 5.5, obtiennent respectivement 1 028,5 et 1 028,2 points. Qwen3.8 Max se classe sixième, suivi de Gemini 3.1 Pro.

Le podium doit être interprété avec les intervalles d'incertitude publiés. Celui de GPT-6 Astra s'étend de 1 059 à 1 072 points, tandis que celui de Gemini 3.8 Flash va de 1 052 à 1 066. Ces intervalles se recoupent : les données ne permettent donc pas d'affirmer une supériorité statistiquement nette du premier sur le deuxième.

Les scores Elo représentent ici des performances relatives aux 14 modèles et aux instructions sélectionnés. Ils ne constituent pas une note universelle de qualité graphique, ni un classement de tous les générateurs d'images vectorielles disponibles. Arrow 2 Telos excelle en illustration, mais chute sur les diagrammes

Le contraste le plus marqué concerne Arrow 2 Telos, développé par QuiverAI. Classé huitième au général avec 1 011,6 points Elo, il prend pourtant la première place dans deux catégories créatives. Il atteint 1 128 points en illustration et 1 133 points pour les scènes, devant GPT-6 Astra dans les deux cas.

Ces catégories évaluent notamment les personnages, les objets, les accessoires, la profondeur et l'organisation spatiale. Elles laissent davantage de place aux choix de style et de composition, même lorsque la consigne impose des éléments précis.

Le classement s'inverse pour les diagrammes. Arrow 2 Telos y occupe la dernière position parmi les 14 modèles. Cette catégorie demande de représenter correctement des données, des étiquettes, des relations ou la logique d'un organigramme. Une composition séduisante ne suffit donc pas si les connexions entre les éléments sont incorrectes.

Ce résultat illustre la différence entre produire une illustration convaincante et réaliser un visuel informatif soumis à des contraintes explicites. Pour une affiche ou une scène éditoriale, les préférences des évaluateurs peuvent favoriser des qualités esthétiques. Dans un diagramme, une erreur de relation ou de contenu peut compromettre l'utilité du document, même lorsque son apparence reste soignée. Gemini 3.8 Flash domine les tâches de conception structurée

Le détail des catégories fait apparaître plusieurs spécialisations. Gemini 3.8 Flash arrive premier pour les logos, les diagrammes, les interfaces utilisateur et les exercices de précision. Il obtient notamment 1 092 points Elo en diagrammes et 1 078 en logos.

Les exercices de précision portent sur des contraintes telles que le nombre exact d'objets, l'affichage d'une heure, la géométrie ou l'organisation des éléments. Les tests d'interface demandent de reproduire des composants avec des textes, valeurs et états définis. Dans ces situations, la conformité à la demande compte autant que la cohérence graphique.

Claude Opus 5.5 prend la tête sur les icônes, tandis que GPT-6 Astra se classe premier en typographie, où il devance de très peu Gemini 3.8 Flash. Ces variations montrent qu'un classement global ne suffit pas à choisir un modèle pour un usage particulier.

Pour produire un ensemble d'icônes cohérent, concevoir un logo typographique ou construire un schéma contenant des relations exactes, les meilleurs résultats du benchmark ne proviennent pas nécessairement du même système. Les catégories deviennent ainsi plus utiles que le podium