Une IA scientifique ouverte dépasse GPT-6 Astra sur un benchmark de recherche

Avec Hydrogen-1.0, Deep Principle spécialise GLM-5.3 pour la recherche scientifique. Le modèle ouvert revendique 38,3 % sur FrontierScience-Research, devant GPT-6 Astra.

Et si la prochaine avancée de l'intelligence artificielle scientifique ne venait pas d'un modèle entièrement nouveau, mais de la manière dont on lui apprend à faire de la recherche ? Avec Hydrogen-1.0, Deep Principle défend une approche particulière : entraîner une IA non seulement sur des connaissances scientifiques, mais aussi sur le déroulement complet d'expériences, depuis la formulation d'une hypothèse jusqu'à l'analyse des résultats, en passant par les erreurs et les changements de stratégie. L'entreprise annonce des performances supérieures à celles de GPT-6 Astra sur certaines évaluations scientifiques et publie les poids de son modèle pour permettre aux chercheurs de l'adapter à leurs propres travaux.

Hydrogen-1.0 repose sur GLM-5.3, le modèle de Z.ai, auquel Deep Principle a appliqué un entraînement supplémentaire consacré à la chimie, aux matériaux et aux sciences du vivant. L'entreprise revendique notamment 38,3 % de réussite sur FrontierScience-Research, contre 33,3 % pour GPT-6 Astra, et un score de 93 % sur GPQA-Diamond. Ces résultats proviennent de ses propres évaluations et ne constituent pas encore une validation indépendante. Ils soulèvent néanmoins une question intéressante : un modèle ouvert, enrichi par des données issues de recherches réelles, peut-il rivaliser avec les systèmes propriétaires les plus avancés sur des problèmes scientifiques spécialisés ? Apprendre la science à partir des expériences, pas seulement des publications

La plupart des modèles de langage acquièrent une partie de leurs connaissances scientifiques à travers des articles, des ouvrages, des bases de données et d'autres documents techniques. Ces sources décrivent des théories, des méthodes et des résultats, mais elles ne restituent pas nécessairement l'ensemble des décisions qui ont conduit à une découverte.

Un article scientifique présente généralement une méthodologie retenue et des conclusions organisées. Il laisse souvent de côté les pistes abandonnées, les erreurs de manipulation, les hypothèses révisées ou les expériences qui n'ont rien donné. Or ces informations jouent un rôle important dans le travail quotidien des chercheurs, qui doivent continuellement décider quoi tester, comment interpréter une observation et à quel moment changer d'approche.

Deep Principle cherche à exploiter cette dimension avec Hydrogen-1.0. Son entraînement s'appuie sur des données scientifiques spécialisées, mais aussi sur les carnets de laboratoire de l'entreprise et sur des trajectoires de découverte documentant les décisions successives des chercheurs et des agents IA.

L'objectif est de relier les intentions initiales aux protocoles mis en œuvre, aux observations obtenues et aux décisions prises ensuite. Le modèle doit ainsi apprendre à organiser une démarche expérimentale et à utiliser les résultats précédents pour orienter la suite d'une recherche, plutôt qu'à simplement produire une réponse fondée sur des connaissances existantes.

Cette approche ne garantit pas qu'il puisse formuler des hypothèses inédites ou déterminer seul leur validité. Elle cherche cependant à intégrer une dimension souvent absente de l'entraînement généraliste : la manière dont une recherche évolue au contact de résultats imparfaits, contradictoires ou inattendus. 38,3 % sur FrontierScience-Research, devant GPT-6 Astra

Deep Principle accompagne son annonce de plusieurs évaluations destinées à mesurer les capacités scientifiques de Hydrogen-1.0. Le résultat le plus commenté concerne FrontierScience-Research, un benchmark composé de problèmes scientifiques difficiles nécessitant plusieurs étapes de raisonnement, notamment en physique, en chimie et en biologie.

Hydrogen-1.0 y obtient un taux de réussite annoncé de 38,3 %, contre 33,3 % pour GPT-6 Astra dans la comparaison réalisée par l'entreprise. L'écart atteint cinq points de pourcentage. Sur GPQA-Diamond, un ensemble de questions scientifiques de niveau avancé, le modèle affiche 93 % de bonnes réponses, une performance que Deep Principle présente comme proche de celle des meilleurs modèles ouverts.

Ces résultats suggèrent qu'un entraînement spécialisé peut améliorer les capacités scientifiques d'un modèle généraliste déjà performant. Ils ne démontrent toutefois pas une supériorité générale sur GPT-6 Astra. Les performances dépendent du choix des questions, du niveau de raisonnement autorisé, des conditions d'exécution et des méthodes utilisées pour évaluer les réponses.

La comparaison financière mérite également d'être précisée. Deep Principle affiche le coût moyen des réponses sur différents benchmarks en utilisant les tarifs publics des modèles. Pour Hydrogen-1.0, l'entreprise retient une tarification comparable à celle de GLM-5.3. Ces estimations ne prennent pas systématiquement en compte l'ensemble des dépenses, notamment les entrées et les opérations d'évaluation, et ne doivent donc pas être confondues avec le coût complet d'une recherche scientifique.

L'intérêt de ces mesures réside davantage dans leur capacité à situer le modèle que dans l'établissement d'un classement définitif. Une reproduction indépendante, avec des configurations clairement documentées, permettra de mieux apprécier la portée réelle des écarts annoncés. Des résultats qui varient selon les disciplines

Deep Principle a également évalué Hydrogen-1.0 sur trois catégories de problèmes rencontrés dans ses activités de recherche : le calcul scientifique, la prédiction de réactions chimiques et l'identification de structures moléculaires à partir de données de résonance magnétique nucléaire, ou RMN.

Face à GPT-6 Astra utilisé avec son niveau de raisonnement maximal, Hydrogen-1.0 obtient 76,9 % en calcul scientifique, contre 71,8 % pour son concurrent. Sur la prédiction des produits d'une réaction chimique, il atteint 90,5 %, contre 85,7 %.

La troisième catégorie présente une situation différente. Pour l'élucidation de structures par RMN, Hydrogen-1.0 obtient 26,7 %, tandis que GPT-6 Astra atteint 30 %. Le modèle de Deep