mammoth-1 et elephant-1 : Baseten entraîne deux modèles IA pour décider sans générer de texte

Baseten publie mammoth-1 et elephant-1, deux modèles IA spécialisés dans la classification et la prise de décision, avec des scores de confiance exploitables.

Tous les systèmes d'intelligence artificielle n'ont pas besoin de rédiger une réponse. Pour orienter une demande vers le bon service, détecter une tentative de phishing ou déterminer si un contenu respecte certaines règles, produire plusieurs phrases peut représenter une opération inutilement coûteuse. Baseten propose une autre approche avec mammoth-1 et elephant-1, deux modèles respectivement dotés de 27 et 9 milliards de paramètres, entraînés pour sélectionner une réponse parmi plusieurs possibilités et lui attribuer une probabilité. Développés par son laboratoire de recherche Base Labs, ils ont été présentés le 21 octobre 2026 et occupent des positions de premier plan dans les évaluations spécialisées de prise de décision. Leurs poids sont annoncés comme ouverts et les deux modèles sont accessibles gratuitement pendant une semaine depuis l'API de Baseten. Des modèles qui choisissent plutôt que de rédiger

Les grands modèles de langage sont généralement conçus pour produire du texte, token après token. Même lorsqu'une application leur demande simplement de répondre par oui ou non, ils utilisent une architecture et un mécanisme de génération capables de construire des réponses beaucoup plus longues. Cette polyvalence présente un intérêt pour les tâches complexes, mais elle peut introduire un coût et une latence superflus dans les workflows reposant sur des décisions courtes et répétitives.

Les decision models cherchent à éviter cette étape. Ils reçoivent un contexte, une question et plusieurs réponses possibles, puis renvoient une distribution de probabilités sur ces réponses. Pour un ticket de support, le résultat peut ainsi indiquer les probabilités que la demande relève de la facturation, de la sécurité ou de l'assistance technique. L'application peut ensuite choisir l'option la mieux notée, ou demander une vérification humaine lorsque l'incertitude est trop élevée.

Baseten distingue trois types d'opérations : les choix entre plusieurs possibilités, les évaluations sur une échelle définie et les décisions binaires. Le modèle peut donc classer un message, attribuer un niveau d'urgence ou estimer si un courriel présente les caractéristiques d'une tentative de phishing. Dans tous les cas, sa sortie est destinée à être exploitée directement par un programme plutôt qu'à être présentée comme un texte conversationnel.

Cette approche s'inscrit dans le développement des modèles de décision popularisés notamment par Jev et le protocole System One de TypeSafe. Elle ne remplace pas les modèles génératifs, mais vise une catégorie d'opérations dans laquelle il est possible de définir les réponses attendues à l'avance. Des probabilités pour décider quand solliciter un humain

L'intérêt d'une distribution de probabilités ne réside pas uniquement dans le choix final. Elle permet aussi de définir des règles d'escalade en fonction de la confiance estimée par le modèle. Un service client peut, par exemple, accepter automatiquement une classification lorsque l'une des catégories dépasse un seuil fixé à 90 %, et transmettre les cas plus incertains à une personne chargée de les examiner.

Cette distinction est importante dans les applications professionnelles. Une erreur d'orientation peut simplement retarder le traitement d'un message, mais une mauvaise décision concernant la sécurité, les paiements ou l'accès à un service peut avoir des conséquences plus importantes. Il ne suffit donc pas de mesurer le taux global de bonnes réponses : il faut aussi vérifier que les probabilités annoncées correspondent réellement à la fréquence des décisions correctes.

Baseten souligne que les modèles peuvent être adaptés par post-entraînement afin d'améliorer cette calibration de confiance. Les équipes doivent néanmoins déterminer leurs propres seuils à partir de données représentatives, en incluant les situations ambiguës et les erreurs coûteuses. Une probabilité élevée produite par un modèle ne constitue pas, à elle seule, une garantie de fiabilité.

Pour les systèmes utilisant plusieurs LLM, elephant-1 ou mammoth-1 peuvent également intervenir comme routeurs. Une demande simple peut être dirigée vers un petit modèle économique, tandis qu'un problème nécessitant davantage de raisonnement est transmis à un système plus puissant. Baseten évoque des accélérations pouvant atteindre un facteur dix par rapport à certains modèles de raisonnement, mais ne publie pas dans son annonce une mesure universelle de latence applicable à toutes les tâches. mammoth-1 en tête du Jev Decision Index

Base Labs présente ses résultats à travers deux classements distincts. Sur le Jev Decision Index, mammoth-1 obtient 71,24 points dans la version 0.4 de l'évaluation, ce qui le place en première position parmi 208 modèles selon le classement cité par Baseten. Elephant-1 occupe une position inférieure au classement général, mais figure parmi les meilleurs systèmes de sa catégorie de taille, avec 9 milliards de paramètres.

Le second classement provient d'Artificial Analysis. Mammoth-1 y obtient 65,9 points, tandis qu'elephant-1 atteint 65,2 points. Dans cette évaluation, la version 9B est annoncée à égalité en première position avec d1-ultra. Ces résultats ne doivent pas être confondus avec le classement Jev, dont le contenu et le calcul des scores diffèrent.

Les évaluations couvrent des tâches relevant de la connaissance et du raisonnement, du langage, de l'utilisation d'outils, de la recherche d'informations, de la classification et de jugements plus subjectifs. L'objectif est de tester des décisions sur des sujets variés plutôt que de mesurer uniquement la capacité à reconnaître quelques catégories de textes.

Il faut cependant distinguer la position dans un benchmark et la fiabilité d'un système en production. Un classement élevé indique de bonnes performances sur les problèmes retenus, mais ne garantit pas la même précision dans un service client spécialisé, un environnement réglementé ou un dispositif de cybersécurité. Le choix d'un modèle doit rester lié