celeris-1 génère par diffusion et revendique 157 ms de latence médiane

Le modèle celeris-1 de Celeris Labs affiche 158 ms de latence médiane. Ce que cette vitesse change pour les tâches de classification et d'extraction.

Un modèle de langage qui produit plusieurs tokens par invocation au lieu d'un seul par passe : c'est la proposition de Celeris Labs, fondé par Tom Hamer et Jesse Clark, précédemment à l'origine de Marqo. Son premier modèle, celeris-1, remplace le décodage autorégressif par une architecture d'inférence fondée sur la diffusion.

Le laboratoire mesure un temps de réponse médian de 158 millisecondes et un débit de 1 664 tokens par seconde, contre 69 pour GPT-5 sur le même protocole, avec un score MMLU-Pro de 75,9 %. Une seconde série de tests, menée depuis des instances EC2 colocalisées avec chaque fournisseur, place celeris-1 devant Cerebras de 8 % et devant Groq d'un facteur 3,5, en tournant sur des GPU standard loués chez AWS plutôt que sur du silicium dédié.

La formule « frontier level intelligence » a fait réagir. Le graphique publié par Celeris situe lui-même GPT-5 à 81,9 % et Gemini 3.5 Flash Lite à 83 % sur MMLU-Pro, donc au-dessus du modèle, ce que plusieurs développeurs ont relevé. D'autres réclament une frontière qualité/latence complète plutôt qu'un p50 isolé, avec des percentiles hauts, des sorties longues et des tâches de tool-use, en faisant valoir que les générations ratées disparaissent dans une médiane. La taille de la fenêtre de contexte, jugée courte, et le tarif, deux dollars par million de tokens en entrée et six en sortie, alimentent les mêmes réserves.

La documentation oriente d'ailleurs celeris-1 vers des tâches intermédiaires courtes comme la classification, l'extraction, le scoring ou la réécriture de requêtes, là où la communication de lancement parle de modèle généraliste. L'API est compatible OpenAI et le streaming actif par défaut.