Fastino entraîne une IA à prendre des décisions sans générer de texte

GLiDE v1.2 de Fastino atteint 71,5 sur le Decision Index et produit des décisions probabilistes en une seule passe, sans génération de texte.

Pour déterminer si une transaction est suspecte, choisir le prochain outil d'un agent ou orienter une demande vers le bon service, une entreprise n'a pas nécessairement besoin d'un modèle capable de rédiger plusieurs paragraphes. Elle attend une décision parmi des options définies, accompagnée d'une estimation fiable de sa probabilité d'être correcte. Fastino Labs développe cette approche avec GLiDE v1.2, un modèle spécialisé qui analyse du texte, des données JSON et des images avant de produire directement des probabilités, sans générer de texte. Cette nouvelle version atteint 71,5 points sur le Decision Index de Hugging Face, avec un temps de réponse médian de 93 millisecondes dans l'évaluation publiée. Ses poids sont accessibles sur Hugging Face et une API permet de l'utiliser sans disposer de sa propre infrastructure. Une décision probabiliste plutôt qu'une réponse rédigée

Les modèles de langage généralistes peuvent être utilisés pour classer des documents, sélectionner des outils ou déterminer la prochaine action d'un programme. Ils doivent cependant générer une réponse, parfois accompagnée d'un raisonnement, même lorsque le résultat attendu se limite à une option ou à un booléen. Cette génération introduit un coût et une latence qui se répètent à chaque décision.

GLiDE, pour Generalized Lightweight Decision Engine, fonctionne autrement. Le modèle reçoit un contexte, puis une ou plusieurs questions dont les réponses possibles sont définies à l'avance. Il peut choisir parmi 255 options au maximum, répondre par oui ou non, ou attribuer un score sur une échelle ordonnée. Les entrées peuvent combiner des informations textuelles, des objets JSON et des images.

Le modèle retourne une distribution de probabilités sur les réponses possibles. Dans un service client, il peut évaluer la probabilité qu'une demande relève de la facturation, d'un incident technique ou d'un problème de sécurité. Pour un agent logiciel, il peut sélectionner un outil parmi plusieurs possibilités ou déterminer si une opération doit être soumise à validation humaine.

La différence avec une réponse générée est importante. Le logiciel qui utilise GLiDE reçoit directement une décision structurée, sans devoir interpréter une phrase ni extraire une instruction d'un bloc de texte. Il peut également appliquer un seuil de confiance : si le modèle n'est pas suffisamment certain, l'opération est suspendue ou confiée à un autre système. Faire tenir le raisonnement dans une seule passe

La première version de GLiDE reposait sur un raisonnement adaptatif. Lorsque le modèle estimait qu'une question était difficile, il produisait davantage de tokens de réflexion avant de répondre. Cette méthode améliorait certains résultats, mais pouvait considérablement allonger le temps de traitement. Fastino rapporte une latence moyenne de 42,6 secondes pour une version intermédiaire de ce système.

Pour GLiDE v1.2, les chercheurs ont conservé une partie des bénéfices de ce raisonnement tout en supprimant sa génération explicite. Ils ont entraîné un modèle étudiant sur les réponses probabilistes de modèles enseignants capables de raisonner, afin qu'il apprenne à reproduire leurs décisions en une seule passe de calcul, ou forward pass.

Ce processus repose sur la distillation des probabilités, plutôt que sur la seule reproduction des bonnes réponses. Les modèles enseignants transmettent non seulement leur choix, mais aussi leur degré d'incertitude entre les différentes options. L'objectif est d'apprendre à l'étudiant à distinguer une décision évidente d'un cas ambigu sans écrire les étapes intermédiaires du raisonnement.

Selon le rapport de recherche de Fastino, le premier modèle obtenu par cette méthode retrouvait une partie des gains du raisonnement explicite. Après plusieurs itérations, l'étudiant a dépassé les performances du modèle enseignant sur les évaluations utilisées par l'équipe. La version 1.1 atteignait 65,12 points sur une édition du Decision Index, tandis que la v1.2 progresse à 71,12 sur cette même édition.

Fastino a aussi expérimenté des méthodes donnant au modèle davantage de calcul interne, notamment des tokens de pause appris et la répétition de certaines couches neuronales. Ces configurations n'ont pas amélioré les résultats par rapport à la distillation classique. Le modèle final privilégie donc une seule exécution de son réseau, sans génération intermédiaire. Un modèle de 27 milliards de paramètres spécialisé dans les choix

GLiDE v1.2 est issu du post-entraînement d'un modèle ouvert de la classe des 27 milliards de paramètres, reposant sur une architecture hybride composée de 48 couches d'attention linéaire Gated DeltaNet et de 16 couches d'attention complète.

Le développement a comporté plusieurs phases : apprentissage du raisonnement, distillation vers des décisions directes, adaptation des données d'entraînement aux formats réels des questions et construction de mécanismes de confiance mieux calibrés.

L'équipe indique notamment avoir découvert que certains échecs ne provenaient pas d'une incapacité du modèle à résoudre la tâche, mais d'un décalage entre les données utilisées pour l'entraîner et la manière dont la question lui était posée pendant l'évaluation.

Sur le benchmark ACOS, consacré à l'analyse du sentiment associé à différents aspects d'un avis client, le protocole soumet de nombreuses questions binaires dont seulement 0,56 % appellent une réponse positive. Les données initiales d'entraînement de Fastino contenaient une proportion de réponses positives beaucoup plus élevée. Le modèle détectait donc trop d'aspects par avis.

En reconstruisant les exemples d'entraînement pour respecter la distribution et la formulation du benchmark, l'équipe indique avoir fait progresser le score d'ACOS de 27,2 à 61,6 points. Ce résultat montre que les performances peuvent dépendre autant de la façon dont un problème est présenté que des capacités générales du modèle. Plusieurs modèles enseignants pour transmettre des compétences différentes

La