LifeSciBench, le banc d'OpenAI sur la recherche en sciences du vivant

OpenAI publie LifeSciBench, un banc d'évaluation en sciences du vivant où GPT-Rosalind et GPT-5.5 atteignent des scores modestes de 36 % et 25,7 % de réussite.

OpenAI publie LifeSciBench, un banc d'évaluation pensé pour mesurer l'utilité réelle des modèles dans la recherche en sciences du vivant, et non leur seule capacité à répondre à des questions de biologie. L'idée est de coller au travail de terrain : interpréter des preuves incomplètes, réconcilier des résultats contradictoires, concevoir des expériences, juger un risque, décider de la suite sous incertitude.

Le dispositif est lourd : 750 tâches rédigées par 173 scientifiques titulaires d'un doctorat et passés par l'industrie pharmaceutique, réparties sur sept workflows et sept domaines biologiques, puis notées via plus de 19 000 critères de barème. Plus de la moitié obligent à exploiter des documents joints, figures, tableaux ou fichiers de séquences, et une relecture indépendante par 453 experts en a validé la pertinence.

L'enseignement principal tient dans la difficulté : les scores absolus restent modestes, le banc est loin d'être saturé. Sur ses propres modèles, OpenAI rapporte que GPT-Rosalind atteint 36 % de réussite contre 25,7 % pour GPT-5.5, avec des progrès en communication scientifique et en traduction préclinique, mais des faiblesses persistantes sur la conception expérimentale, l'analyse et tout ce qui réclame une sortie exacte.