Accélérer les réponses de l’IA sans réentraîner les modèles

Des agents réécrivent et testent le code qui fait tourner les modèles chez Together AI. Le débit progresse jusqu’à 2,6 fois dans les essais publiés.

Faire tourner plus vite un modèle déjà entraîné, en laissant des agents réécrire et tester le code qui l’exécute : c’est le travail confié à Together Compiler. Présenté par l’équipe de recherche de Together AI, ce système recherche des optimisations adaptées au modèle, aux accélérateurs disponibles et aux requêtes reçues. Il intervient sur les logiciels d’exécution utilisés pour produire les réponses.

Deux chiffres résument l’annonce, mais mesurent des choses différentes. Le facteur 252 concerne le nombre d’expériences d’optimisation que les agents peuvent essayer dans un temps donné. Le gain de débit annoncé pour les modèles atteint, lui, jusqu’à 2,6 fois dans les configurations du rapport de recherche. Les résultats sont publiés par les auteurs du système. Tester une modification sans tout redémarrer

L’optimisation automatique rencontre un obstacle : chaque idée doit être essayée pour savoir si elle accélère réellement le calcul. Certains dispositifs relancent tout le moteur d’inférence à chaque tentative, avec le chargement du modèle et la préparation de son exécution. Ces opérations peuvent prendre plusieurs minutes. Pendant ce temps, les agents obtiennent peu de retours sur leurs propositions.

Le système conserve un moteur en fonctionnement et y recharge les nouvelles versions du code à tester. Les paramètres du modèle restent chargés. Plusieurs agents travaillent simultanément et échangent leurs observations, afin d’alimenter cette infrastructure en candidats. Le facteur 252 revendiqué correspond à cette capacité d’expérimentation, comparée dans l’étude à un dispositif qui redémarre le moteur entre les mesures.

Les tests sont répartis entre deux niveaux. Un premier moteur utilise une partie des couches du modèle pour éliminer rapidement les propositions lentes ou défectueuses. Un second en mobilise davantage pour obtenir une mesure plus représentative. Sur une expérience avec GLM 5.3 et des accélérateurs B200, les auteurs rapportent 1 354 candidats évalués, contre 168 avec un seul niveau de mesure plus lent. La solution trouvée est 7,2 % plus rapide dans cette comparaison. Une bonne optimisation dépend aussi des requêtes

Un code performant sur des données artificielles peut perdre son avantage en situation réelle. Les modèles à mélange d’experts ne sollicitent qu’une partie de leurs composants pour chaque jeton, et cette répartition dépend des entrées. La longueur des demandes et le nombre d’utilisateurs simultanés modifient également le travail à effectuer. Optimiser une opération isolée ne suffit donc pas toujours à accélérer le service complet.

Le billet technique de Together AI décrit plusieurs variations observées dans son activité. Les consignes peuvent s’allonger lorsque les utilisateurs passent du chat à des tâches confiées à des agents. Des clients peuvent aussi envoyer soudainement davantage de requêtes, ou réutiliser moins de contenu déjà présent en mémoire. Une configuration adaptée à un moment peut devenir moins efficace quelques jours plus tard.

Un outil d’estimation sélectionne d’abord les répartitions de calcul prometteuses entre accélérateurs. Il combine les caractéristiques du matériel et des mesures pour éviter d’essayer toutes les configurations possibles. Les agents cherchent ensuite à améliorer le code dans ce cadre. Lorsque les conditions changent, la recherche peut être relancée : c’est ce que l’entreprise appelle la compilation continue. Des gains à lire avec leurs conditions de mesure

Les essais portent sur plusieurs modèles, dont Kimi K3, GLM 5.3, MiniMax M3.1-Flash et DeepSeek v4.1-Flash. Les auteurs annoncent jusqu’à 2,6 fois plus de jetons traités par seconde et par accélérateur, à vitesse par utilisateur comparable, après vingt-quatre heures d’optimisation par réglage. Les tests couvrent des accélérateurs NVIDIA, AMD et Trainium2 d’AWS. Le cas Trainium2 utilise toutefois un jeu de conversations synthétiques différent du profil AgentX employé pour NVIDIA et AMD.

Les chiffres les plus élevés mis en avant pour la vitesse individuelle atteignent 1 111 jetons par seconde avec MiniMax M3.1-Flash sur B200 et 1 205 avec DeepSeek v4.1-Flash sur GB300, à une seule requête simultanée. L’indicateur utilisé est l’inverse du 90e percentile du délai entre deux jetons. Il décrit la rapidité du flux reçu par un utilisateur, distincte du débit total par accélérateur et du temps nécessaire pour obtenir une réponse complète.

Certaines de ces comparaisons intègrent aussi un changement de répartition du travail. Pour MiniMax, le système retient une division du modèle sur huit accélérateurs, contre quatre dans la configuration publiée servant de référence. Le gain observé associe donc les choix de configuration et l’optimisation du code. Il ne peut pas être attribué intégralement aux seules modifications écrites par les agents.

Le projet InferenceX de SemiAnalysis fournit le cadre de comparaison et des résultats publics. Les nouvelles mesures présentées ici restent celles de Together AI. Employer ce protocole ne vaut pas validation indépendante d’un record par l’organisme qui le maintient. Une optimisation déjà déployée, encore réservée à certains accès

Dans sa présentation de l’inférence dite polymorphe, l’entreprise indique utiliser le système sur certains de ses services de modèles à la demande. L’accès des clients à l’outil lui-même est annoncé en bêta limitée. La possibilité d’optimiser directement un déploiement dédié en libre-service figure parmi les fonctions à venir.

Le système est présenté comme une manière d’adapter continuellement l’exécution aux usages. Les modifications retenues passent par des vérifications de qualité et de fonctionnement avant le déploiement, selon les auteurs. Le gain attendu concerne la vitesse ou la capacité de traitement ; les résultats publiés n’établissent pas une amélioration générale des connaissances ou du raisonnement des modèles.

Les chercheurs ont aussi testé leur dispositif sur des modèles de météo, de biologie et de séries temporelles,