Des données brutes de laboratoire pour éprouver le jugement des agents IA

Créé par OpenAI et Ligo, BioBasicsBench évalue les agents IA sur 100 tâches tirées d’expériences réelles, de la lecture d’images à la vérification de témoins.

Sur une boîte de culture, l’absence de colonies semble confirmer que le témoin a joué son rôle. Le détail qui change la lecture est inscrit à la main sur le bord de la boîte. Elle contient de la kanamycine, alors que l’expérience utilise de l’ampicilline. Dans cet exercice de BioBasicsBench, GPT-5.6 Sol tire sa conclusion de l’absence de colonies. En lisant l’étiquette, GPT-6 Astra repère que le témoin ne correspond pas à l’expérience et l’écarte.

Le test conçu par OpenAI et Ligo Biosciences porte sur ce type de décision. Pour interpréter une image ou une mesure, l’agent doit vérifier comment elle a été obtenue et quelles conclusions elle autorise. Les scientifiques ont construit les exercices à partir de données recueillies lors de leurs propres expériences. Des résultats de laboratoire avec leurs ambiguïtés

Parmi les 100 tâches, certaines demandent de lire un gel, d’autres de comparer des images de microscopie ou d’extraire une mesure d’un fichier produit par un instrument. Les agents peuvent aussi recevoir des protocoles, des notes manuscrites ou des vidéos de manipulations. Dix-neuf tâches évaluent la capacité à reconnaître que les données sont insuffisantes. Dans l’une d’elles, les plages de détection de deux colorants se chevauchent. La luminosité observée peut donc provenir des deux signaux. Astra relève l’ambiguïté et demande des témoins supplémentaires avant de conclure que les cellules sont mortes.

Chaque exercice a été relu par un scientifique de Ligo autre que son auteur, puis par un chercheur extérieur titulaire d’un doctorat et travaillant en laboratoire, avant un dernier contrôle interne. La notation accorde des points pour chaque critère rempli. Selon l’exercice, la grille tient compte de la conclusion, de la mesure obtenue, de sa justification ou de la capacité à signaler qu’il manque une donnée. Les scores comptent aussi les réponses partielles

L’évaluation couvre sept modèles d’OpenAI et 37 combinaisons de modèle et d’effort de raisonnement. Avec cinq tentatives par tâche et par configuration, cela représente 18 500 réponses évaluées. Au réglage commun « xhigh », GPT-6 Astra obtient en moyenne 66,7 % des points disponibles, contre 43,8 % pour GPT-5.6 Sol, soit 22,9 points d’écart. À ce réglage, Astra produit en moyenne 4 704 jetons de sortie par tâche, contre 9 099 pour GPT-5.6 Sol. Le bon détail, la mauvaise conclusion

Dans un autre exercice, Astra distingue correctement deux groupes de bandes sur un gel. Il suppose ensuite que le fragment le plus grand correspond au résultat recherché. La comparaison avec les témoins conduit au choix inverse dans le corrigé. Le modèle a bien repéré les deux motifs, puis leur a attribué la mauvaise identité.

Sur une photographie de boîte de culture, Astra compte environ 12 % de colonies de trop. Il confond certaines colonies voisines, en omet d’autres et prend des zones vides pour des colonies. À volume et dilution constants, cet écart gonfle d’autant l’estimation de l’efficacité avec laquelle l’ADN a été introduit dans les cellules.