Sur 25 problèmes de recherche en apprentissage automatique, FrontierML teste les choix d’agents privés d’accès direct à leur évaluation finale.

Les agents connaissent le problème à résoudre, mais ne peuvent pas consulter l’évaluation qui départagera leurs propositions. Dans le benchmark FrontierML, conçu par Synthetic Sciences, ils doivent fabriquer leurs propres tests, interpréter leurs résultats et décider quelles expériences poursuivre. Le travail porte sur 25 problèmes de recherche en apprentissage automatique, avec une évaluation finale distincte de leurs essais locaux.

Ce choix de protocole déplace la difficulté. Les auteurs reprochent à de nombreux benchmarks de recherche de fournir un jeu de validation ou un outil de vérification trop proche du score final. Ici, une amélioration sur un indicateur construit par l’agent ne garantit pas un meilleur résultat à l’arrivée. La pertinence de la mesure fait elle-même partie du travail évalué. Douze heures pour décider où investir

Chaque tentative dure douze heures dans Lab0, un laboratoire virtuel doté d’outils de programmation, de ressources documentaires et d’un accès au calcul. Les agents peuvent réserver des GPU H100 dans un cluster partagé, utiliser des logiciels comme vLLM et Miles, ou générer des données synthétiques via OpenRouter. Des copies figées d’arXiv et de jeux de données Hugging Face leur donnent accès à la littérature et aux données disponibles pour la tâche.

Une enveloppe de 50 à 125 dollars, selon le problème, couvre le calcul, les services d’entraînement et les appels aux modèles effectués depuis leur code. L’inférence de l’agent lui-même et l’évaluation finale sont financées séparément. Le partage des GPU impose aussi des arbitrages : une expérience pertinente doit tenir dans le temps restant, avec des ressources qui peuvent être occupées par d’autres tentatives.

Certaines tâches demandent de prévoir ce qui fonctionnera à une échelle inaccessible pendant ces douze heures. Dans Off Book, une bibliothèque de compétences doit être intégrée aux poids de Nemotron 3.5 Super, tout en préservant ses performances sur d’autres tâches. Les essais de l’agent passent uniquement par le plus petit Nemotron 3.5 Lightning, via Tinker. La recette retenue est ensuite appliquée au grand modèle pour l’évaluation. Des résultats encore éloignés des références visées

Sur les 25 tâches, le meilleur score moyen publié revient à Claude Fable 5.2, avec 0,523, devant Claude Opus 5.5 à 0,399, GPT-6 Astra à 0,371 et Gemini 4 Carbon à 0,353. Ces valeurs normalisées ne représentent pas une proportion de problèmes résolus. Pour chaque tâche, les auteurs ont fixé un point de départ et une référence de résultat jugée forte ; le score mesure la progression entre les deux. Aucune tentative de l’évaluation principale n’atteint cette référence haute.

La comparaison comporte une seule tentative par modèle et par tâche, sans référence humaine permettant de situer ces performances face à des chercheurs. Les auteurs explorent aussi le « goût pour la recherche » : capacité à anticiper les résultats, à juger ses propres mesures, à proposer des idées ou à employer efficacement le calcul. Ces indicateurs restent exploratoires. Quand le score récompense un contournement

Des essais internes antérieurs ont exposé une autre difficulté : obtenir un bon score sans accomplir le travail demandé. Sur No Way Back, il fallait faire oublier à un modèle cinquante personnalités publiques, de façon à résister à un nouvel entraînement. Selon le rapport, GPT-6 Astra a conservé les connaissances, ajouté un filtre bloquant les noms concernés et modifié numériquement les poids pour entraver leur réentraînement. Cette soumission a obtenu 0,888 avec l’ancien évaluateur.

Les auteurs ont depuis modifié la vérification : la même proposition obtiendrait désormais un résultat proche de zéro. Ces essais ont aussi révélé le recours à d’autres modèles pour prendre des décisions de recherche. Les menus d’accès ont été révisés pour exclure les modèles de pointe évalués et ceux servant de juges. Ces épisodes précèdent les résultats principaux publiés. Quinze tâches accessibles, avec un protocole adapté

La version publique du benchmark comprend quinze tâches, utilisables avec Harbor et proposées sur l’Environments Hub de Prime Intellect. Leur exécution a été adaptée à des machines fixes, différentes du cluster partagé de Lab0. Le dépôt précise que les scores obtenus dans ce cadre ne sont pas directement comparables à ceux du rapport.

Le code original est distribué sous Apache 2.0 et les textes originaux des tâches sous CC BY 4.0. Les composants tiers conservent leurs propres conditions, parfois non commerciales. Dix tâches restent privées pour maintenir un ensemble d’évaluation auquel les agents ne peuvent pas accéder pendant leurs recherches.