117 000 exemples contre 6,2 millions : alphaXiv teste les limites des petits modèles décisionnels

Avec OR-decision-4B, alphaXiv entraîne un modèle décisionnel ouvert à partir de 117 186 exemples. Ses résultats approchent ceux de Jev sur plusieurs tâches, mais la détection du sarcasme révèle une faiblesse persistante.

Un modèle entraîné sur 117 000 exemples peut-il rivaliser avec des concurrents qui en ont utilisé plusieurs millions ? C'est l'expérience menée par alphaXiv avec OR-decision-4B, un modèle de quatre milliards de paramètres spécialisé dans la prise de décisions. Développé à partir de Qwen3.5-4B avec l'environnement de recherche OpenResearch, il obtient des résultats proches de Jev sur plusieurs tâches de classification, malgré un volume d'entraînement nettement inférieur à celui des modèles décisionnels de Baseten. Une exception ressort pourtant des évaluations : le sarcasme, que le modèle peine à interpréter correctement.

Cette expérience intervient alors que les modèles spécialisés dans la prise de décisions commencent à se multiplier. Contrairement aux assistants conversationnels, ces systèmes ne cherchent pas à produire une longue réponse. Leur fonction consiste à examiner un contexte, puis à sélectionner une option, attribuer un score ou répondre par oui ou non. Quelques jours après l'annonce de joey-1 par Baseten, alphaXiv publie ainsi un nouveau modèle ouvert, accompagné de ses poids d'adaptation, de résultats expérimentaux et d'un environnement permettant de reproduire une démarche de recherche similaire. L'intelligence artificielle n'a pas toujours besoin de rédiger

Une grande partie des usages professionnels de l'IA ne nécessite aucune génération de texte élaborée. Déterminer si une demande relève du service commercial ou du support technique, évaluer l'urgence d'un message, identifier une intention ou mesurer la gravité d'un contenu peuvent se résumer à une décision structurée. Dans ces situations, demander à un modèle conversationnel de construire une réponse complète ajoute des opérations qui ne sont pas forcément nécessaires.

OR-decision-4B adopte une approche différente. À partir d'un contexte, d'une instruction et d'une liste de réponses possibles, il attribue une probabilité à chaque option. L'application peut ensuite retenir la réponse la plus probable, appliquer un seuil de confiance ou calculer une valeur moyenne lorsqu'il s'agit d'une échelle numérique.

La méthode repose sur la lecture directe des probabilités associées à des identifiants de choix. Chaque option est représentée par un token spécifique, dont le modèle évalue la probabilité à la fin d'un format de requête défini. Les résultats sont ensuite normalisés pour produire une distribution entre les différentes réponses possibles.

Ce fonctionnement évite de traiter la décision comme une conversation ordinaire. Le modèle n'est pas évalué sur sa capacité à expliquer son raisonnement en plusieurs phrases, mais sur sa capacité à sélectionner correctement une réponse parmi les possibilités proposées. Quatre milliards de paramètres, sans réentraîner tout Qwen

Pour développer OR-decision-4B, alphaXiv est parti de Qwen3.5-4B, un modèle à poids ouverts de quatre milliards de paramètres. L'équipe ne l'a pas intégralement réentraîné. Elle a utilisé une adaptation LoRA de rang 16, une technique qui permet de spécialiser un modèle en modifiant un nombre relativement limité de paramètres supplémentaires.

L'entraînement repose sur 117 186 exemples, sélectionnés après séparation d'un corpus initial de 123 339 éléments. Les données rassemblent différents types de décisions : classification, raisonnement, évaluation de l'adéquation d'une réponse et exemples synthétiques. Certaines sont également accompagnées de distributions de probabilités produites par un modèle enseignant.

L'objectif ne consiste donc pas uniquement à apprendre au système quelle option est correcte. L'entraînement cherche aussi à rapprocher ses distributions de celles du modèle enseignant, tout en limitant certains écarts par rapport au Qwen d'origine.

Le processus s'est déroulé sur deux époques d'entraînement. Le modèle publié correspond à une étape sélectionnée selon la plus faible perte de vraisemblance sur un ensemble de validation de 1 024 exemples, et non selon le meilleur taux de réponses correctes observé.

La distinction est technique, mais importante : optimiser la qualité des probabilités produites ne revient pas nécessairement à maximiser le nombre de bonnes décisions sur un ensemble de questions donné. Un gain mesurable sur JevBench

La fiche technique publiée sur Hugging Face fournit plusieurs résultats permettant de situer le modèle. Sur JevBench, une batterie publique de 231 tâches décisionnelles, OR-decision-4B obtient 83,55 % de bonnes réponses dans la configuration principale, avec une fenêtre de contexte de 4 096 tokens.

Le Qwen3.5-4B de base atteint 76,19 % sur cette même évaluation. La spécialisation apporte donc un gain de 7,36 points, ce qui suggère qu'un entraînement relativement limité peut améliorer sensiblement les performances sur des tâches de décision structurée.

Une seconde configuration, utilisant une fenêtre de 3 072 tokens, produit un résultat de 83,98 %. Cette légère différence doit être interprétée avec prudence : elle ne constitue pas à elle seule la preuve d'une supériorité de cette configuration.

Sur l'ensemble de validation de 1 024 exemples, le modèle obtient 73,63 % de réponses correctes. Toutefois, cet ensemble ayant servi à sélectionner le point d'entraînement retenu, il ne peut pas être considéré comme une évaluation totalement indépendante.

Les auteurs signalent également que les résultats ont été obtenus avec le système natif de lecture des probabilités utilisé pendant leurs expériences. L'exécution du modèle exporté avec Transformers et PEFT n'a pas encore fait l'objet d'une nouvelle évaluation complète. Les différences de précision numérique, de traitement par lots ou d'environnement d'exécution pourraient donc modifier légèrement les résultats reproduits par d'autres équipes. Jev et Baseten dans la même comparaison

alphaXiv a également comparé son modèle à Jev et aux trois modèles décisionnels de Baseten : joey-1, elephant-1 et mammoth-1. Les résultats publiés distinguent plusieurs familles de tâches, notamment les questions à