Une antenne à concevoir, quinze IA sur le banc d’essai

Le test HW-Bench confronte quinze modèles à six tâches de conception d’antenne. Les premières mesures distinguent qualité des réponses et fiabilité.

Quinze modèles d’IA ont été confrontés aux mêmes fichiers et aux mêmes outils pour travailler sur la conception d’une antenne à 2,45 GHz. L’exercice inaugure HW-Bench, une évaluation créée par Arena Physica pour mesurer ce que les modèles savent accomplir dans un bureau d’études. Les premières données couvrent six tâches, chacune répétée cinq fois par modèle. Elles dessinent un classement, mais montrent surtout comment une bonne note moyenne peut masquer une exigence essentielle non remplie.

Le tableau des résultats place GPT-6 Astra en tête, avec 67 % d’exécutions réussissant tous les critères critiques, devant les 57 % de GPT-6.1 Sol. Ces valeurs concernent ce premier cas de conception d’antenne. Elles ne constituent pas un classement général des capacités en ingénierie mécanique, électronique ou industrielle. Une bonne moyenne peut cacher un critère éliminatoire

Deux mesures coexistent dans HW-Bench. Le score d’exactitude représente la part pondérée des critères satisfaits. Un critère important compte davantage qu’un détail secondaire. Le taux de réussite exige, lui, que tous les critères critiques soient respectés lors d’une même exécution. Un résultat globalement convaincant peut donc échouer s’il manque une exigence indispensable.

Le premier modèle obtient ainsi une note moyenne de 0,81 sur 1. Cette valeur ne signifie pas que 81 % des travaux sont utilisables : son taux de réussite complète est de 67 %. La distinction apparaît aussi pour Claude Opus 5, qui atteint 0,71 d’exactitude moyenne, mais ne réussit tous les critères critiques que dans 33 % des exécutions. Une note ne remplace pas l’examen des causes d’échec.

La répétition des essais ajoute une autre lecture. L’indicateur pass⁵ mesure la part des tâches réussies sur leurs cinq exécutions. Pour GPT-6 Astra, les 67 % correspondent à quatre des six tâches ; pour GPT-6.1 Sol, les 33 % correspondent à deux tâches. Onze des quinze modèles restent à zéro sur cet indicateur : aucun de leurs six exercices n’a été réussi cinq fois sur cinq. Les logiciels spécialisés font chuter les résultats

Le travail demandé dépasse la rédaction d’une réponse. Les six étapes vont de la définition des caractéristiques de l’antenne au choix d’un dessin de référence, puis à son ajustement en simulation, sa traduction en circuit imprimé, une nouvelle simulation et la rédaction d’un plan de test. Les logiciels mobilisés comprennent Ansys HFSS pour la simulation électromagnétique et KiCad pour les circuits électroniques.

Les résultats détaillés dans la présentation du benchmark montrent une différence nette entre ces catégories d’exercices. Sur les trois tâches utilisant les outils de simulation et de conception électronique, 30 exécutions sur 225 satisfont tous les critères critiques, soit environ 13 %. Sur les tâches de texte et de code, le total atteint 92 sur 225, soit environ 41 %.

La conversion du dessin en circuit imprimé concentre les difficultés : seules trois tentatives sur 75 passent tous les critères critiques. Le cas d’étude de l’antenne explique que le modèle doit produire un projet ouvrable, respecter les règles du fabricant et livrer des fichiers cohérents avec la carte finale. Déclarer dans un compte rendu que le circuit est prêt ne suffit pas à remplir ces exigences. Six étapes évaluées séparément

Le périmètre initial impose une limite de lecture : chaque tâche repart de la réponse de référence préparée par les ingénieurs pour l’étape précédente. Le modèle ne doit donc pas composer avec les erreurs qu’il aurait lui-même introduites plus tôt. Les résultats ne démontrent pas encore qu’une même IA peut mener tout le projet, revenir sur ses choix et corriger ses propres écarts jusqu’au livrable final.

Les quinze modèles utilisent Atlas, l’environnement d’agents conçu par Arena Physica. La méthodologie publiée indique des fichiers, des outils, des consignes et des limites communs, sans ajustement particulier pour chaque modèle. Le niveau de raisonnement est réglé sur « high », avec un plafond de 600 appels par exécution et une durée limite de trois heures. Les résultats décrivent donc les modèles dans cet environnement précis.

Le coût et le temps sont également suivis. Le premier correspond à la dépense API ; le second inclut les appels aux outils et les simulations. Pour les chiffres agrégés par projet, le site additionne les moyennes des six tâches évaluées séparément. Ces valeurs ne représentent pas la durée observée d’un projet autonome exécuté de bout en bout, ni une comparaison directe avec le temps de travail d’un ingénieur. Vérifier les fichiers, puis calibrer les jugements

Les critères mesurables sont contrôlés sur les fichiers produits. Pour une antenne, cela peut concerner les paramètres d’une simulation ou le respect d’une spécification. Le modèle est jugé sur ses livrables, plutôt que sur ses seules affirmations. Les organisateurs indiquent que les réponses de référence et les grilles sont préparées et examinées par des spécialistes du domaine.

Certains critères demandent toutefois une appréciation, comme la pertinence d’un plan de test. Ils sont évalués par trois modèles juges : Claude Opus 5.5, GPT-6 Sol et Grok 4.7. Plusieurs ingénieurs notent indépendamment un échantillon de sorties, puis les seuils sont ajustés jusqu’à obtenir au moins 90 % d’accord entre les juges et les ingénieurs sur cet échantillon. Ce taux décrit leur concordance pendant la calibration.

La majeure partie des données demeure privée pour limiter leur réutilisation dans l’entraînement de futurs modèles et protéger les informations industrielles. Les évaluations utilisant les données des partenaires sont réalisées dans leurs propres environnements, selon la méthode annoncée. La publication d’un sous-ensemble de consignes, de fichiers et de traces doit apporter une visibilité partielle sur les tests.

Le programme prévoit aussi d’examiner les affirmations non étayées dans les traces de travail : une simulation annoncée mais jamais lancée, une valeur inventée ou un fichier