EAGLE-4 accélère la génération des modèles IA jusqu'à quatre fois sans modifier leurs réponses

EAGLE-4 accélère l'inférence des modèles Qwen et Nemotron sur GPU, CPU et smartphone grâce à un décodage spéculatif adapté au matériel.

Produire davantage de tokens par seconde sans réentraîner un grand modèle de langage : c'est l'objectif d'EAGLE-4, une nouvelle méthode d'accélération de l'inférence présentée par Eagle AI. Sur Qwen3.8-27B, elle multiplie par 3,59 le débit de génération d'une requête unique dans les tests comparatifs des chercheurs, et conserve un avantage lorsque le serveur traite simultanément plusieurs centaines de demandes. L'approche fonctionne également sur les GPU AMD et sur des processeurs classiques, jusqu'à un smartphone Motorola où elle réduit de plus de moitié l'énergie consommée par token dans une expérience. L'innovation ne concerne pas les connaissances ou les capacités de raisonnement du modèle, mais la manière dont ses réponses sont calculées. Prédire plusieurs tokens pour éviter de recalculer chaque étape

Les modèles autorégressifs produisent leurs réponses progressivement, un token après l'autre. Cette méthode permet de construire des textes complexes, mais implique de solliciter le réseau à chaque nouvelle portion générée. Sur des modèles comportant plusieurs dizaines ou centaines de milliards de paramètres, le coût de ces opérations devient particulièrement important, notamment lorsque les demandes se succèdent sur des serveurs déjà fortement sollicités.

Le décodage spéculatif vise à réduire cette contrainte. Un réseau auxiliaire, généralement beaucoup plus petit que le modèle principal, anticipe plusieurs tokens susceptibles de composer la suite de la réponse. Le grand modèle vérifie ensuite ces propositions en une opération groupée. Si une partie de la séquence est acceptée, plusieurs tokens peuvent être validés sans répéter autant de cycles de calcul qu'avec une génération traditionnelle.

Cette approche ne consiste pas simplement à laisser un modèle approximatif écrire à la place du modèle principal. La procédure de vérification permet de conserver la distribution de sortie du modèle cible lorsqu'elle est correctement implémentée. À température nulle, les tokens acceptés correspondent à ceux qu'aurait sélectionnés le modèle principal en génération déterministe. L'accélération repose donc sur une réorganisation du calcul plutôt que sur l'abandon d'une partie des vérifications.

Depuis EAGLE-1, publié en janvier 2024, les chercheurs ont progressivement amélioré cette méthode, notamment avec des structures de prédiction capables d'explorer plusieurs continuations possibles. EAGLE-4 ajoute une adaptation explicite au coût matériel de chaque proposition, pour éviter qu'un mécanisme conçu pour accélérer les réponses finisse par consommer trop de ressources. Une anticipation différente selon le nombre de requêtes

Le problème central du décodage spéculatif est qu'une stratégie efficace pour un utilisateur isolé ne l'est pas nécessairement sur un serveur gérant plusieurs centaines de conversations. Lorsqu'un accélérateur dispose de ressources inutilisées, préparer davantage de tokens peut être avantageux. À forte charge, en revanche, les mêmes opérations supplémentaires peuvent ralentir l'ensemble du service.

EAGLE-4 introduit EAGLE-Harness, un système chargé d'ajuster la profondeur et la largeur des séquences spéculatives en fonction du matériel, de la charge et de la probabilité d'acceptation des tokens. Au démarrage, le logiciel mesure le coût des différentes opérations de génération et de vérification. Il conserve ensuite ces mesures pour décider, pendant l'exécution, si une nouvelle anticipation présente un intérêt suffisant.

Le mécanisme peut construire un arbre comportant plusieurs propositions concurrentes ou privilégier une séquence plus étroite. Lorsque le serveur traite peu de demandes, il peut consacrer davantage de calcul à l'anticipation. Quand la charge augmente, il réduit les opérations dont le bénéfice attendu ne compense plus le coût. Le même réseau auxiliaire entraîné pour un modèle peut ainsi fonctionner dans plusieurs configurations sans nécessiter une nouvelle version spécialisée pour chaque taille de lot.

Cette distinction constitue l'un des principaux arguments des chercheurs face à des approches comme DFlash 2 et DSpark. Ces méthodes accélèrent également la génération en proposant plusieurs tokens, mais les auteurs d'EAGLE-4 estiment que leur organisation laisse moins de liberté pour interrompre les calculs devenus peu rentables. DSpark dispose lui aussi de mécanismes adaptatifs ; la différence revendiquée concerne principalement le moment auquel le système choisit de poursuivre ou d'arrêter l'anticipation. Qwen3.8-27B dépasse 860 tokens par seconde

Les chercheurs ont évalué EAGLE-4 sur Qwen3.8-27B, exécuté sur quatre GPU NVIDIA B300. Dans le comparatif principal du rapport, réalisé sur SPEED-Bench avec une température de génération nulle et le même moteur d'inférence pour toutes les méthodes, le modèle atteint 863,8 tokens par seconde sur une requête unique. La génération classique atteint 240,5 tokens/s, contre 672,6 pour DFlash 2 et 618,6 pour DSpark.

EAGLE-4 multiplie ainsi le débit de référence par 3,59, tout en dépassant DFlash 2 d'environ 28 % et DSpark de 40 %. La différence persiste à forte concurrence, mais dans des proportions différentes. Avec 512 requêtes simultanées, EAGLE-4 produit 28 340 tokens par seconde au total, contre 21 203 pour le décodage classique, 16 641 pour DFlash 2 et 14 229 pour DSpark.

Ces chiffres mettent en évidence une limite des comparaisons fondées uniquement sur la vitesse d'une réponse isolée. À 512 requêtes, les 28 340 tokens/s représentent le débit cumulé du serveur, et non la vitesse individuelle de chaque conversation. Dans cette configuration, le gain face à la génération classique est de 34 %, tandis que DFlash 2 et DSpark passent sous le débit de référence.

Un second résultat, mis en avant dans la communication du lancement, atteint 961,6 tokens/s avec TokenSpeed. Il provient d'une intégration optimisée et d'un protocole distinct du comparatif principal. Dans ce test, TokenSpeed est 15 % plus rapide que l'implémentation EAGLE-4 de