EdgeBench : ByteDance mesure comment les agents apprennent en environnement réel

Un benchmark classique évalue ce qu'un modèle sait déjà. EdgeBench, publié par ByteDance Seed, s'intéresse à un autre registre : la façon dont un agent progresse lorsqu'on lui laisse le temps, un retour d'expérience et la marge de s'améliorer. Le banc réunit 134 tâches tirées de pratiques réelles, réparties en six familles (problèmes scientifiques et ML, ingénierie logicielle, optimisation, travail de la connaissance, mathématiques formelles et jeux), pour la plupart construites de zéro. Chaque tâche tourne de 12 à 72 heures en continu, le temps que l'expérience s'accumule ; l'effort humain expert atteint 57,2 heures en moyenne, et jusqu'à 320 heures pour les cas les plus lourds. L'agent avance en boucle : il tente une solution, observe le retour de l'environnement, l'analyse, puis convertit l'expérience en meilleurs plans. ByteDance ouvre 51 des 134 tâches et l'ensemble du cadre d'évaluation.

Après 38 000 heures d'exécutions, une régularité se dégage. En moyennant point par point les courbes d'apprentissage, les trajectoires bruitées se ramènent à une même fonction log-sigmoïde, avec un R² moyen de 0,998. ByteDance en propose une lecture par exploration de graphe : le score d'une tâche s'assemble à partir d'une multitude de petites unités, en débloquer une rend ses voisines plus accessibles, et le progrès avance comme un front qui gagne du terrain. En comparant des modèles sortis entre septembre 2025 et mai 2026, l'équipe relève aussi que la vitesse d'apprentissage en environnement doublerait environ tous les trois mois.

L'étude détaille un cas : sur une tâche de reconstruction d'onde gravitationnelle, un agent GPT-5.5 enchaîne 247 tentatives notées et fait passer son score de 42,8 à 67,0 en douze heures, avec sept bascules où il reformule le problème plutôt que d'ajuster ses seuls réglages.