Les agents codent vite, la science valide lentement

Un rapport d'OpenAI montre que les agents accélèrent l'écriture du code mais butent sur la validation scientifique, qui reste dépendante des humains.

Beaucoup d'outils d'analyse en usage dans les laboratoires sont nés comme le code accompagnant un article, écrits par de petites équipes académiques sans grande expérience de l'ingénierie et sans le temps de s'occuper d'empaquetage, de tests ou de maintenance. C'est de ce constat que part un field report exploratoire d'OpenAI consacré à huit projets de calcul scientifique conduits avec des agents, principalement en sciences du vivant. Cinq ont mobilisé Codex seul, trois l'ont associé à Claude Code. Les études de cas sont rédigées par les équipes elles-mêmes et couvrent un spectre large, de la maintenance de routine à la migration d'un langage vers un autre ou à la refonte pour tourner nativement sur GPU.

Le résultat le plus net tient à un déplacement. Le travail d'ingénierie cesse d'être le facteur limitant, et c'est la validation de ce que produit l'agent qui le devient, laquelle repose encore entièrement sur le jugement humain. Les contributeurs décrivent des agents efficaces sur des demandes bien cadrées mais incapables de dire si leur propre travail est scientifiquement valide, et affichant volontiers de l'assurance là où le code contient des erreurs manifestes. Les méthodes de vérification qui tiennent s'appuient donc sur une référence extérieure ou une cible mesurable : égalité stricte des sorties, parité avec un outil existant, comportement statistique attendu, ou réponses connues d'avance grâce à des données simulées.

Aucun de ces projets n'a fonctionné en un coup. Les équipes ont découpé, itéré, intercalé des benchmarks intermédiaires. Les premières implémentations arrivent vite, puis les cas limites et les écarts numériques subtils prennent beaucoup plus de temps, le dernier kilomètre concentrant l'essentiel de l'effort.

La réserve la plus intéressante porte sur l'après. Quand réécrire coûte moins cher, rien n'empêche de multiplier les réécritures voisines, ce qui fragmente les utilisateurs et dilue l'attention experte nécessaire à la fiabilité d'un seul outil. Un logiciel scientifique mûr transporte des conventions non documentées, des exigences de compatibilité et une confiance acquise que la traduction du code source ne reproduit pas. Deux projets ont vu leurs modifications remonter vers le dépôt d'origine, un troisième a changé de mains faute de mainteneur en activité. Sans propriétaire identifié ni plan de maintenance crédible, prévient le rapport, la réécriture moderne d'aujourd'hui devient le code abandonné de demain. Le document se présente lui-même comme rétrospectif et exploratoire.