Subquadratic présente SubQ, premier LLM à architecture entièrement subquadratique

La startup Subquadratic lance SubQ 1M-Preview, premier LLM subquadratique qui réduit par 1 000 le coût d'attention sur 12 millions de tokens.

La startup Subquadratic, basée à Miami, ouvre l'accès anticipé à SubQ 1M-Preview, présenté comme le premier modèle de langage de fondation construit sur une architecture entièrement subquadratique. Là où les transformers classiques voient leur coût de calcul croître au carré de la longueur du contexte, SubQ s'appuie sur une mécanique d'attention baptisée SSA (Subquadratic Sparse Attention) qui apprend à ne retenir que les relations pertinentes entre tokens. La consommation en attention est ainsi réduite d'environ 1 000 fois sur 12 millions de tokens par rapport aux modèles frontière concurrents, avec une vitesse 52 fois supérieure à FlashAttention pour 63 % de calcul en moins.

Sur les bancs d'essai vérifiés par un tiers, SubQ 1M-Preview obtient 95 % au RULER 128K (94,8 % pour Claude Opus 4.6), 81,8 % au SWE-Bench Verified, et 65,9 % au MRCR v2, qui mesure la capacité à raisonner sur de longues séquences. Le modèle de recherche, lui, opère jusqu'à 12 millions de tokens, là où les modèles concurrents annoncent en théorie 1 million sans toujours le tenir.

Trois produits ouvrent en accès anticipé : une API longue contexte, SubQ Code (un agent de programmation en ligne de commande capable de charger un dépôt entier en un seul passage), et SubQ Search (un outil de recherche profonde à vitesse conversationnelle). L'équipe rassemble onze chercheurs issus de Meta, Google, Oxford, Cambridge, ByteDance, Adobe et Microsoft. La société a levé 29 millions de dollars en seed, avec parmi ses investisseurs Justin Mateen, cofondateur de Tinder, et plusieurs financiers historiques d'Anthropic, OpenAI, Stripe et Brex.