Une boucle de recherche automatisée pour ERNIE 5.5 Flash

Appliqué à ERNIE 5.5 Flash, le système ERNIE Evolve enchaîne modifications de code, expériences et contrôles pour améliorer l’inférence.

Un débit accru de 33,7 % en conservant des résultats identiques bit pour bit : c’est l’un des gains que rapporte Baidu pour une configuration d’inférence d’ERNIE 5.5 Flash. Dans son billet technique sur ERNIE Evolve, le laboratoire décrit un système de recherche automatisée chargé de choisir des pistes, modifier du code et vérifier les effets de chaque changement. Ce travail a été appliqué à l’optimisation du modèle alors en développement.

Le point de départ est un dépôt de code, un objectif et des critères d’évaluation définis. Les expériences sont exécutées dans des environnements isolés, et leurs résultats servent à orienter les suivantes. Le laboratoire inscrit cette démarche dans l’auto-amélioration récursive, ou RSI : employer l’IA pour améliorer les systèmes qui la font fonctionner. Un évaluateur hors de portée des agents

La recherche s’organise en deux boucles imbriquées. À l’extérieur, plusieurs directions sont explorées en parallèle, à partir des expériences précédentes et d’une base de connaissances. À l’intérieur de chaque direction, le système choisit une version du code, formule une hypothèse et prépare une modification. Les versions candidates forment un arbre qui conserve la filiation des changements.

L’évaluation est confiée à un programme fixe, placé hors du dépôt optimisé et invisible aux agents. Il vérifie la conformité des résultats et la performance sur les charges prévues. Les modifications hors périmètre sont exclues, et un gain doit dépasser le seuil de bruit retenu pour être accepté. Un composant de révision examine ensuite le code et les mesures afin de repérer les écarts à l’objectif ou l’exploitation d’une faiblesse du test. Des comparaisons publiques sur quatre métriques

Sur NanoChat AutoResearch, le laboratoire annonce un score de validation de 0,8763 bit par octet, contre 0,8878 pour la référence publique retenue, avec un budget d’entraînement de cinq minutes sur un GPU NVIDIA B200. Plus cette mesure est basse, meilleur est le résultat. L’optimisation ajoute des statistiques de séquences de jetons et une recherche dans les documents d’entraînement, dont les prédictions sont combinées avec celles du réseau.

Sur NanoGPT Speedrun, les résultats annoncés passent de 39,9 à 38,9 secondes pour atteindre la perte cible dans une piste, et de 2 690 à 2 590 étapes dans une autre. La comparaison porte sur les meilleurs résultats publics retenus au moment de l’évaluation. Sur SOL-ExecBench, consacré aux routines de calcul GPU, le score moyen de 0,819 reste sous la référence de 0,827.

Le dépôt ERNIE Evolve Results fournit les implémentations finales et des journaux pour examiner les mesures. Pour la première piste de NanoGPT, il rapporte 38,92 secondes sur dix-huit exécutions avec huit GPU H100 de 80 Go. Ces éléments documentent des résultats produits par le système ; ils ne constituent pas une publication de l’ensemble de son orchestration. Sur P800, des chemins rapides existaient déjà

L’application à ERNIE 5.5 Flash comprend trois chantiers distincts. Sur les accélérateurs Kunlunxin P800, quatre cycles de recherche portent la vitesse de génération à 623,6 % de la référence, soit un facteur 6,236. Le modèle et la configuration de déploiement sont conservés, selon le laboratoire. Une partie importante du gain vient de l’activation d’implémentations optimisées déjà disponibles, puis de corrections dans l’ordonnancement et les communications.

Le chantier d’inférence déterministe part d’une référence déjà travaillée par les ingénieurs. Les jetons générés et leurs probabilités doivent rester identiques bit pour bit, indépendamment des autres requêtes du lot. Après environ trois jours de recherche, le débit augmente de 33,7 % dans ce cadre, d’après les mesures publiées.

Le troisième chantier concerne le décodage d’une requête unique sur GPU, avec un modèle proposant des jetons que le modèle principal vérifie. Le gain annoncé est de 14,9 %, sans perte de précision par rapport à la référence. Sept directions ont été explorées, dont trois ont produit des améliorations ; les changements devaient passer les mêmes tests de charge et contrôles de conformité que ceux soumis par les ingénieurs.