Un tiers des tâches de SWE-Bench Pro seraient cassées, selon OpenAI

OpenAI publie un audit de SWE-Bench Pro, l'un des bancs de test les plus utilisés pour mesurer les capacités de codage agentique, et en conclut qu'une part importante de ses tâches est défectueuse.

Le principe du banc : sur un ensemble de 731 tâches publiques tirées de l'historique de dépôts logiciels, un modèle doit implémenter une fonctionnalité qui passe de nouveaux tests sans casser l'existant. En huit mois, les modèles de frontière y ont progressé de 23,3 % à 80,3 % de réussite. OpenAI a soumis ce jeu à une chaîne d'analyse : un filtre automatique a d'abord signalé 286 tâches suspectes, revues ensuite par deux voies parallèles, des agents investigateurs bâtis sur Codex, capables de lire le dépôt et de rejouer les tests, et une campagne d'annotation humaine où chaque tâche passait entre les mains de cinq ingénieurs.

Le verdict converge. Le pipeline automatique a marqué 27,4 % des tâches comme cassées, l'annotation humaine 34,1 %, d'où une estimation d'environ 30 %. Quatre défauts dominent. Des tests trop stricts imposent des détails d'implémentation absents de l'énoncé et recalent des solutions pourtant correctes. Des énoncés sous-spécifiés omettent des exigences que des tests cachés attendent. Des tests à faible couverture vérifient mal la fonctionnalité, laissant passer des correctifs incomplets. Et certains énoncés trompeurs orientent vers le mauvais comportement.

OpenAI relie ces problèmes à l'origine des données : issues et pull requests de dépôts open source, écrites pour la collaboration humaine, se prêtent mal à des tâches d'évaluation isolées. L'entreprise en tire deux conséquences : elle retire sa recommandation d'adopter SWE-Bench Pro, après avoir déjà écarté SWE-bench Verified, et invite à bâtir des bancs conçus par des développeurs expérimentés. Elle note au passage que des modèles assez capables servent désormais à auditer les benchmarks eux-mêmes.