Avec Snap, Subquadratic veut réduire le coût des décisions prises par l'IA

Subquadratic dévoile SubQ Snap, un modèle de décision multimodal capable de traiter 100 000 tokens en moins d'une seconde, avec un contexte de 384 000 tokens.

Choisir un outil, vérifier un document ou décider de la prochaine étape d'une tâche : ces opérations ne nécessitent pas toujours de solliciter un grand modèle de langage. C'est sur ce constat que Subquadratic a développé SubQ Snap, dévoilé le 12 octobre. Ce modèle d'IA spécialisé dans la prise de décision promet de traiter des volumes importants d'informations sans subir les ralentissements habituellement associés aux longs contextes. Des décisions rapides, même avec un contexte volumineux

SubQ Snap accepte jusqu'à 384 000 tokens de texte et d'images dans une même requête. De quoi examiner un vaste ensemble de documents, du code informatique, des contrats ou l'historique des actions d'un agent IA avant de sélectionner une réponse parmi plusieurs possibilités.

Selon les mesures communiquées par Subquadratic, le modèle peut traiter 100 000 tokens et rendre une décision en moins d'une seconde, avec une latence annoncée de 660 millisecondes. À pleine capacité, soit 384 000 tokens, ce délai passe à environ 2,5 secondes. Des performances que l'entreprise attribue à son architecture Subquadratic Sparse Attention (SSA), conçue pour éviter que les besoins de calcul augmentent de façon quadratique avec la longueur du contexte. Des résultats supérieurs à Jev sur plusieurs évaluations

Sur le Decision Index v0.2.1, SubQ Snap obtient un score de 61,7 contre 57,9 pour Jev, un autre modèle spécialisé dans les décisions structurées. Subquadratic annonce également une avance sur 13 des 16 tests consacrés aux usages professionnels, notamment dans la détection du phishing, l'analyse de contrats, la vérification documentaire et le code.

Sur une évaluation de raisonnement impliquant plusieurs documents totalisant entre 72 000 et 115 000 tokens, Snap atteint 74 points contre 48 pour Jev, ce dernier utilisant un découpage des documents. Ces résultats proviennent des tests publiés par Subquadratic et restent à confirmer dans des conditions d'utilisation indépendantes. Un modèle conçu pour travailler aux côtés des grands LLM

L'objectif n'est pas de remplacer les modèles généralistes, mais de leur éviter certaines opérations répétitives. Dans un agent de développement, Snap pourrait déterminer quel fichier consulter, quel outil exécuter ou si un résultat est satisfaisant, en réservant les tâches de génération et de raisonnement complexe à des modèles plus puissants.

SubQ Snap est disponible en préversion publique, avec un tarif annoncé de 0,05 dollar par million de tokens en entrée et des sorties gratuites. Les 10 000 premiers inscrits peuvent bénéficier de 100 millions de tokens d'entrée offerts. L'accès reste soumis aux capacités disponibles, avec une liste d'attente possible.

Avec Snap, Subquadratic s'inscrit dans l'émergence des modèles de décision spécialisés. Leur intérêt dépendra notamment de leur capacité à conserver une bonne précision sur des contextes étendus, sans faire exploser les coûts de traitement. Un enjeu particulièrement concret pour les agents IA amenés à multiplier les décisions au cours d'une même tâche.