Le design généré par IA passe devant un jury de professionnels

À partir de 33 briefs, le Frontier Design Benchmark confronte les modèles aux choix de designers et aux limites des notes de qualité.

Au classement des préférences, les créations humaines de référence devancent presque tous les modèles. Sur la grille de critères, plusieurs IA obtiennent pourtant de meilleures notes. Cet écart traverse le Frontier Design Benchmark, développé par Contra Labs avec BenchFlow : éviter les défauts d’exécution et convaincre des designers ne se confondent pas.

Le dispositif associe des comparaisons à l’aveugle, une grille de critique et un outil qui repère les traits visuels récurrents des sites générés par IA. Les résultats portent sur des sites et des applications construits à partir de briefs détaillés, plutôt que sur l’ensemble des métiers du design. Le brief client entre dans le test

L’analyse de 4 600 projets de sites publiés sur Contra a servi à construire une partie des 33 tâches. Vingt-sept reprennent des commandes réelles, réécrites pour des clients fictifs ; six proviennent de projets confiés par des startups à des designers de la plateforme. Identité de marque, public visé et contraintes fonctionnelles accompagnent les demandes. Un site de festival avec billetterie et une visite audio de musée figurent parmi les exemples.

Pour produire les réponses des modèles, BenchFlow exécute un agent dans un environnement isolé et enregistre son travail, son coût et son résultat. L’accès passe par OpenRouter ; lorsque c’est possible, chaque modèle utilise l’environnement agentique de son propre laboratoire. Les références humaines suivent une autre procédure : des designers proposent trois directions sur un moodboard, reçoivent des retours, puis réalisent le site avec les outils de leur choix. La méthodologie décrit donc des processus de production différents, sans établir une équivalence de temps ou de moyens. Le classement a déjà changé depuis l’annonce

Le fil de lancement annonçait les designers en tête, avec 76 % de comparaisons remportées. Le classement consulté place désormais Gestalt, présenté comme un modèle encore non dévoilé, au premier rang avec 1 931 points Elo. Les références humaines suivent à 1 739 points, puis Claude Fable 5.2 à 1 713, Claude Opus 5.5 à 1 691 et GPT-6.1 Sol à 1 668. Le site affiche désormais 4 311 votes à l’aveugle.

Ces positions traduisent les préférences exprimées entre deux propositions pour un même brief. Elles ne constituent ni un taux de conformité à une commande ni une mesure générale de compétence professionnelle. Pour le modèle non dévoilé, la publication précise que Contra Labs travaille avec son équipe afin de poursuivre les évaluations et de lui fournir des retours.

Une autre lecture apparaît dans la grille de critique, qui examine la typographie, les contrastes, la composition, l’accessibilité ou la cohérence de marque. Les auteurs rapportent une corrélation de 0,94 entre cette notation et le classement des modèles par préférence. Les références humaines font exception : des défauts relevés dans la grille ne les empêchent pas d’être souvent préférées. La note d’exécution ne restitue pas entièrement le jugement esthétique du jury. Les habitudes visuelles ne prouvent pas l’origine

Le Slop Detector examine les caractéristiques qui rapprochent une page des productions d’IA de son corpus. Les auteurs relèvent des habitudes différentes selon les familles : flèches horizontales sur les liens chez Claude, flèches diagonales chez GPT, contenu fréquemment réparti en cartes chez Gemini. Ces observations décrivent les pages testées ; elles ne suffisent pas à attribuer avec certitude un site à un modèle.

Un faible score au détecteur ne garantit pas davantage une bonne création. Dans les résultats publiés, des pages inachevées produites par DeepSeek V4 Pro ressemblent peu aux pages d’IA typiques, tout en étant mal classées par les designers. La galerie est consultable, mais le jeu de données complet reste accessible uniquement sur demande.