Liquid AI lance d1-ultra, un modèle qui répond par des probabilités plutôt que par du texte
Liquid AI lance d1-ultra, un modèle multimodal de décision capable d'analyser textes et images, avec un score de 65 sur le Decision Index.
Une photographie de produit correspond-elle à sa description ? Un composant électronique présente-t-il un défaut ? Une demande d'indemnisation est-elle cohérente avec les images fournies ? Ces questions ne nécessitent pas toujours une réponse rédigée, mais une décision accompagnée d'un niveau de confiance. Avec d1-ultra, Liquid AI développe cette approche à travers un modèle multimodal capable d'examiner du texte, des images ou les deux simultanément. Le système renvoie des probabilités plutôt que des phrases et se classe en tête du Decision Index d'Artificial Analysis, avec un score de 65. Des probabilités à la place des réponses générées
d1-ultra appartient à une catégorie de modèles spécialisés dans la prise de décision.
Contrairement aux modèles de langage conversationnels, qui construisent progressivement une réponse textuelle, il examine les informations fournies et attribue directement des probabilités aux réponses possibles.
Le traitement s'effectue en une seule passe de calcul, sans génération successive de tokens de sortie.
Liquid AI propose trois types de questions.
Noul correspond à une décision binaire. Le modèle répond à une question fermée par une probabilité comprise entre 0 et 1, par exemple pour déterminer si une photographie montre un produit endommagé.
Choice permet de choisir parmi plusieurs catégories. Le système attribue une probabilité à chacune, afin de classer une situation selon les options définies.
Score positionne une observation sur une échelle. Cette fonction peut servir à évaluer la gravité d'un incident, la pertinence d'un contenu ou le niveau de conformité d'un élément.
Les trois formats sont accessibles depuis la même API. Plusieurs questions peuvent être soumises à partir d'un contexte commun, avec des résultats structurés directement utilisables dans un programme. Une attention particulière portée à la fiabilité des probabilités
La précision d'une décision ne dépend pas uniquement du nombre de bonnes réponses obtenues. Pour automatiser certaines opérations, il faut également savoir si le niveau de confiance indiqué par le modèle correspond à ses performances réelles.
Cette propriété est appelée calibration.
Un système correctement calibré qui attribue une confiance de 90 % à un ensemble de décisions devrait avoir raison dans environ 90 % des cas concernés.
Un modèle peut obtenir un bon score global tout en étant régulièrement trop sûr de ses réponses. Cette surestimation devient problématique lorsqu'une décision entraîne une opération automatique.
Liquid AI indique avoir spécialement entraîné d1-ultra pour réduire cet écart entre confiance annoncée et précision observée.
Selon ses évaluations internes, le modèle présente l'erreur de calibration la plus faible parmi les systèmes comparés.
Cette caractéristique permet d'envisager des procédures associant plusieurs niveaux de traitement. Une entreprise pourrait, par exemple, automatiser certaines décisions dépassant un seuil de confiance défini et transmettre les autres à une personne chargée de les examiner.
Un tel seuil ne garantit cependant pas la fiabilité de chaque décision individuelle. Il doit être évalué sur les données et les situations propres à l'application concernée. En tête du Decision Index d'Artificial Analysis
d1-ultra atteint 65 sur l'Artificial Analysis Decision Index, une évaluation spécialisée dans les modèles qui produisent des décisions structurées.
Le classement détaillé lui attribue un score de 65,2, devant les autres modèles référencés dans cette catégorie lors de sa publication.
Liquid AI annonce également une avance d'au moins huit points sur ses concurrents dans cet indice.
Cette évaluation ne mesure pas les mêmes capacités que les classements généralistes de modèles conversationnels. Elle examine notamment des tâches de classification, de sélection de réponses, de reconnaissance des situations nécessitant une action et de détection de contenus problématiques.
La première place de d1-ultra concerne donc un type particulier de traitement, et non l'ensemble des capacités habituellement associées aux grands modèles de langage. 112 évaluations pour mesurer les décisions complexes
Liquid AI a également comparé d1-ultra à son précédent modèle d1 et à Jev 1.14 sur 112 évaluations réparties en huit catégories.
L'entreprise annonce une progression dans chacune de ces catégories.
Les différences les plus importantes concernent les tâches mobilisant des connaissances spécialisées, la comparaison de réponses, l'utilisation d'outils et les décisions impliquant des agents autonomes.
Le modèle prend également en charge 44 langues, afin de traiter des données et des instructions provenant d'environnements linguistiques différents.
Pour développer d1-ultra, Liquid AI indique être parti d'un modèle à poids ouverts plus volumineux que celui utilisé pour d1, auquel l'entreprise a appliqué des modifications importantes et un entraînement spécialisé.
Le laboratoire ne précise pas le nom du modèle de base ni le nombre de paramètres de d1-ultra.
Les 112 évaluations proviennent de Liquid AI et ne constituent pas un protocole intégralement reproduit par un organisme extérieur. Elles doivent être distinguées du Decision Index publié par Artificial Analysis. Contrôler des produits, des dommages et des documents
Liquid AI présente plusieurs démonstrations mettant en scène des situations où les informations sont incomplètes ou difficiles à interpréter.
Dans l'industrie, d1-ultra peut comparer la photographie d'un circuit électronique avec ses spécifications afin d'identifier un éventuel défaut.
Dans l'assurance, le modèle peut examiner les images transmises par un client et évaluer si elles correspondent à la description d'un dommage déclaré.
Une autre démonstration concerne le commerce en ligne. Le système compare les photographies d'un produit avec les informations de sa fiche et signale les incohérences possibles.
Ces vérifications peuvent être intégrées à des processus de contrôle qualité, de gestion des réclamations ou de