Pourquoi demander à une IA de rédiger une réponse quand elle peut décider en 20 millisecondes ?

Avec joey-1, Baseten propose un modèle IA ouvert de 2 milliards de paramètres qui prend des décisions en 20 ms, à partir de 0,01 dollar par million de tokens.

Une demande de remboursement doit-elle être approuvée ? Un message mérite-t-il d'être signalé ? À quelle équipe faut-il transmettre un ticket de support ? Pour ces opérations quotidiennes, les entreprises utilisent souvent des modèles de langage capables de rédiger plusieurs paragraphes, alors qu'une simple décision suffirait. Baseten propose de supprimer cette étape avec joey-1, un petit modèle d'intelligence artificielle conçu pour répondre directement par un choix et un score de confiance, sans produire de texte. Résultat annoncé : une latence médiane de 20 millisecondes et un tarif de seulement 0,01 dollar par million de tokens.

Développé par Base Labs, le laboratoire de recherche de Baseten, joey-1 appartient à une catégorie émergente : les decision models. Leur objectif n'est pas de rivaliser avec les grands modèles conversationnels sur la rédaction ou le raisonnement ouvert, mais d'exécuter rapidement les décisions structurées qui interviennent dans le fonctionnement des applications. L'intelligence artificielle n'a pas toujours besoin de parler

Un modèle de langage traditionnel traite une demande puis génère une réponse sous forme de texte, généralement mot après mot. Même lorsqu'on lui demande simplement de choisir entre deux options, il mobilise un mécanisme de génération destiné à produire du langage.

Pour des tâches répétitives, ce fonctionnement représente un coût inutile. Une application de service client, par exemple, n'a pas nécessairement besoin d'une explication détaillée pour déterminer si une demande concerne la facturation, une difficulté technique ou une résiliation.

Les modèles décisionnels adoptent une approche différente. Ils reçoivent des informations, appelées state, ainsi qu'une ou plusieurs questions définissant les choix possibles. Ils retournent directement des réponses structurées et des probabilités associées à chaque option.

Avec joey-1, cette opération s'effectue en une seule passe de calcul, sans génération progressive d'une réponse libre.

Le modèle peut traiter plusieurs types de décisions : sélectionner une catégorie parmi plusieurs propositions, répondre à une question fermée ou attribuer un score selon une échelle prédéfinie.

Il accepte également des images en entrée. Les développeurs peuvent donc envisager des applications de classification visuelle, de modération ou d'orientation de contenus, au-delà des seuls traitements textuels.

L'intérêt ne réside pas dans la capacité du système à expliquer longuement son choix, mais dans sa faculté à fournir une sortie directement exploitable par un logiciel. Vingt millisecondes pour une décision

La performance mise en avant par Baseten concerne une requête moyenne de 2 000 tokens. Sur son infrastructure de production, joey-1 affiche une latence médiane de bout en bout de 20 millisecondes.

Cela signifie que la moitié des requêtes du protocole considéré sont traitées en 20 millisecondes ou moins. Cette mesure, appelée P50, ne décrit cependant pas les délais maximaux ni les performances systématiquement obtenues dans tous les environnements.

À titre de comparaison, elephant-1, le modèle intermédiaire de la même famille, atteint 49 millisecondes dans les mesures communiquées par Baseten. Joey-1 se montre ainsi environ 2,5 fois plus rapide.

L'entreprise le présente également comme cinq fois plus rapide que certains modèles décisionnels comparables, sans encore publier l'ensemble des détails techniques permettant de reproduire cette comparaison.

Cette rapidité présente surtout un intérêt lorsque plusieurs décisions doivent être prises successivement. Dans une application utilisant différents modèles pour classer une demande, contrôler sa conformité, évaluer son urgence et sélectionner un traitement, chaque appel supplémentaire allonge le délai total.

Réduire ces opérations à quelques dizaines de millisecondes peut donc avoir un effet direct sur la réactivité du service. Un million de tokens pour un centime

L'autre argument concerne le coût.

Baseten facture joey-1 à 0,01 dollar par million de tokens d'entrée. Le modèle ne produisant pas de texte génératif classique, la grille tarifaire indique un coût nul pour les tokens de sortie structurée.

L'entreprise donne l'exemple d'un service traitant dix millions de tickets de support par mois, avec environ 500 tokens pour chaque demande.

Un tel volume représente cinq milliards de tokens mensuels. À ce tarif, le coût théorique de traitement atteint 50 dollars par mois avec joey-1, contre 500 dollars avec mammoth-1, le modèle de 27 milliards de paramètres proposé par le même laboratoire.

Ces montants concernent le coût d'inférence indiqué dans la grille tarifaire. Ils ne comprennent pas nécessairement les dépenses liées au développement, à l'intégration, à la supervision humaine ou aux autres services utilisés dans une application complète.

L'écart illustre néanmoins l'intérêt économique d'un modèle spécialisé. Pour les entreprises qui effectuent plusieurs millions de classifications chaque jour, le prix unitaire d'une décision peut devenir aussi important que sa précision. Deux milliards de paramètres, une spécialisation assumée

Joey-1 repose sur Qwen3.5-2B, un modèle de deux milliards de paramètres auquel Base Labs a appliqué un entraînement complémentaire orienté vers les tâches décisionnelles.

Cette spécialisation transforme un modèle généraliste en un système capable de sélectionner directement des réponses structurées et de leur associer des probabilités.

Le laboratoire a utilisé une méthode d'entraînement commune à trois modèles de tailles différentes : joey-1 avec 2 milliards de paramètres, elephant-1 avec 9 milliards et mammoth-1 avec 27 milliards.

La famille est conçue pour répondre à différents compromis entre vitesse, coût et capacité à traiter des décisions complexes.

Joey-1 privilégie les volumes élevés et les opérations sensibles à la latence. Elephant-1 représente une solution intermédiaire, tandis que mammoth-1 vise les décisions exigeant davantage de connaissances ou une