Plus de réponses par watt : le premier processeur d’OpenAI livre ses résultats

Jalapeño, le premier processeur d’inférence d’OpenAI, promet davantage de débit et moins de latence avant un déploiement fin 2026.

Produire davantage de réponses tout en réduisant le temps d’attente et la consommation électrique : OpenAI publie les premiers résultats de Jalapeño, son premier processeur conçu spécifiquement pour l’inférence des grands modèles de langage. Son déploiement dans l’infrastructure de l’entreprise doit commencer avant la fin de l’année 2026.

L’inférence correspond à la phase durant laquelle un modèle déjà entraîné traite une demande et génère sa réponse. Jalapeño n’a donc pas été présenté comme un processeur destiné à entraîner les futurs modèles d’OpenAI, mais comme une puce chargée de les faire fonctionner une fois leur apprentissage terminé.

Cette spécialisation vise directement ChatGPT, Codex, les agents et les services proposés par API. Pour les utilisateurs, OpenAI évoque des réponses plus rapides, des sessions Codex plus réactives et un accès plus régulier lorsque la demande augmente. Aucun calendrier précis n’est toutefois communiqué pour chaque produit, modèle ou région.

Les résultats ont été obtenus avec trois modèles ouverts de tailles et d’architectures différentes : GPT-OSS 120B, DeepSeek R1 670B et Kimi K2.5 1T. Ce choix permet à OpenAI de montrer que Jalapeño ne fonctionne pas uniquement avec ses propres modèles internes.

Sur ces trois charges de travail, la puce aurait fourni entre 1,5 et 1,9 fois plus de débit par watt au point de fonctionnement le plus efficace que les systèmes de comparaison. La latence complète d’une requête aurait été réduite d’un facteur allant de 1,7 à 3,6.

Pour les usages très interactifs, la progression annoncée est plus importante. Jalapeño aurait généré 1 459 unités de sortie par seconde et par utilisateur avec GPT-OSS 120B, contre 535 pour le système concurrent. Les résultats atteignent respectivement 700 contre 169 avec DeepSeek R1, puis 694 contre 182 avec Kimi K2.5.

Ces mesures correspondent à des conditions optimisées pour chaque plateforme. Elles ne signifient pas qu’une réponse ChatGPT sera systématiquement produite quatre fois plus vite. Le temps observé par une personne dépend aussi du modèle sollicité, de sa durée de réflexion, du trafic, du routage, des outils appelés et de la connexion au service.

Les comparaisons reposent sur InferenceX, une infrastructure publique de mesure développée par SemiAnalysis. Elle évalue l’ensemble du traitement d’une requête, de la lecture du prompt à la production de la réponse, sur plusieurs niveaux de débit et de réactivité.

Pour GPT-OSS 120B, OpenAI compare Jalapeño à un système NVIDIA GB200. DeepSeek R1 et Kimi K2.5 sont confrontés à un GB300. Les essais utilisent un contexte nominal de 8 000 unités en entrée et 1 000 en sortie, dans une configuration orientée vers le traitement simultané de plusieurs utilisateurs.

Au meilleur niveau d’efficacité de chaque système, Jalapeño atteint 85 448 unités traitées par seconde et par kilowatt avec GPT-OSS, contre 44 960 pour le GB200. L’écart est de 19 641 contre 11 781 avec DeepSeek R1 et de 18 195 contre 11 862 avec Kimi K2.5.

Les différences beaucoup plus spectaculaires mises en avant par OpenAI, pouvant dépasser un facteur 50 ou 100, correspondent à une situation particulière. Jalapeño est alors limité à la vitesse de décodage maximale du système concurrent, puis les deux plateformes sont comparées à ce même niveau de réactivité. Ces chiffres ne représentent pas une avance générale sur toutes les utilisations.

La consommation demande également une lecture attentive. Jalapeño possède une enveloppe thermique annoncée de 700 watts, tandis que les systèmes concurrents sont comptabilisés à 1 200 ou 1 400 watts selon le modèle testé. OpenAI précise que sa puce est restée sous 550 watts en charge soutenue pendant les essais.

Les performances ont néanmoins été normalisées à partir de la puissance maximale publiée pour chaque accélérateur, et non de mesures identiques de la consommation électrique réelle de l’ensemble des systèmes. Les résultats ne prennent donc pas directement en compte toute l’énergie nécessaire aux processeurs hôtes, à la mémoire externe, au réseau, au refroidissement ou au centre de données.

Ils ne fournissent pas non plus de comparaison du coût total de possession. Jalapeño n’étant pas commercialisé séparément, aucun prix d’achat, coût de fabrication, rendement industriel ou coût d’exploitation à grande échelle n’est publié. Un meilleur débit par kilowatt ne suffit pas à déterminer combien coûtera réellement chaque réponse.

Les mesures ont été produites et présentées par OpenAI. InferenceX fournit un cadre public et reproductible pour les plateformes accessibles à ses procédures habituelles, mais Jalapeño reste un matériel interne. Aucun laboratoire indépendant n’a encore annoncé avoir reproduit les résultats sur une infrastructure extérieure.

L’intérêt technique de la puce tient à la réduction des mouvements de données. L’exécution d’un modèle de langage alterne plusieurs phases dont les contraintes ne sont pas identiques. La lecture initiale du prompt mobilise surtout les capacités de calcul, tandis que la production progressive de la réponse dépend davantage de la vitesse d’accès à la mémoire.

Lorsqu’un modèle est réparti entre plusieurs puces, le déplacement de ses données et la coordination entre les unités peuvent créer des périodes d’attente. Un processeur très rapide sur une opération précise peut perdre une partie de son avantage si les informations doivent constamment circuler entre la mémoire, les cœurs et le réseau.

Jalapeño a été conçu pour conserver localement certains états nécessaires à la génération, dont le cache KV qui mémorise le contexte déjà traité. L’architecture peut ensuite mobiliser différentes combinaisons de calcul, de mémoire et de communication selon la phase de la requête.

Le réseau est intégré à cette conception. L’objectif consiste à maintenir une charge de travail complète dans un même ensemble connecté et à réduire les transferts entre systèmes éloignés. Cette organisation doit permettre à la puce de traiter aussi bien la