DiffuSpace dévoile Clover, un modèle open source taillé pour les agents IA rapides

DiffuSpace dévoile Clover-35B-A3B, un modèle de langage à diffusion open source capable d'atteindre 680 tokens/s sur un seul GPU NVIDIA GB300.

680 tokens générés par seconde sur un seul GPU, 35 milliards de paramètres au total et seulement trois milliards activés à chaque étape. DiffuSpace dévoile Clover-35B-A3B-Preview, un modèle de langage à diffusion conçu pour accélérer la génération de texte sans sacrifier les performances en raisonnement, en programmation et dans l'utilisation d'outils.

Contrairement aux modèles autorégressifs traditionnels, qui produisent leur réponse token après token, Clover exploite une génération par blocs permettant de résoudre plusieurs positions du texte en parallèle. L'entreprise affirme que cette approche lui permet de surpasser plusieurs modèles de taille comparable sur des benchmarks consacrés aux agents IA.

Les poids du modèle sont disponibles sous licence Apache 2.0, avec des implémentations pour SGLang et llama.cpp. Cette première version, encore présentée comme une preview, peut être téléchargée et exécutée localement. Une autre manière de générer du texte

La plupart des grands modèles de langage utilisent une architecture autorégressive. Ils prédisent successivement chaque token en fonction de ceux qui ont déjà été produits.

Ce fonctionnement crée une dépendance séquentielle : le modèle doit connaître le résultat de l'étape précédente avant de poursuivre la génération.

Les modèles de langage à diffusion, ou diffusion language models (dLLM), explorent une approche différente.

Au lieu de générer tous les tokens dans un ordre strictement séquentiel, Clover travaille sur des blocs de texte dont les positions sont initialement masquées. Le modèle estime leur contenu, puis affine progressivement les prédictions au cours d'un processus de débruitage.

Plusieurs positions peuvent ainsi être résolues pendant une même étape, avant que le bloc finalisé ne soit ajouté au contexte disponible pour la génération suivante.

Cette architecture permet d'exploiter davantage le parallélisme des GPU. Elle ne garantit pas automatiquement une accélération dans toutes les configurations, puisque les itérations de débruitage et la taille des blocs influencent également les performances.

DiffuSpace met particulièrement en avant les applications agentiques, où les délais de génération s'accumulent au fil des appels d'outils et des cycles de correction. Un modèle de 35 milliards de paramètres dérivé de Qwen

Clover repose sur une architecture Mixture-of-Experts (MoE), dans laquelle seule une partie du réseau est mobilisée pour traiter chaque token.

Le modèle rassemble environ 35 milliards de paramètres, mais n'en active qu'approximativement trois milliards par token.

Un point important apparaît dans sa fiche technique Hugging Face : Clover est dérivé de Qwen3.6-35B-A3B, et non entraîné intégralement à partir de zéro.

DiffuSpace reprend son architecture hybride associant Gated DeltaNet et mécanismes d'attention, avant de la modifier pour prendre en charge la génération à diffusion par blocs.

La structure conserve notamment 40 couches et 256 experts routés, dont huit peuvent être sélectionnés par token, auxquels s'ajoute un expert partagé.

Les changements concernent principalement le traitement bidirectionnel de l'information à l'intérieur des blocs et l'organisation de la mémoire des tokens précédents.

Cette filiation avec Qwen est explicitement reconnue par DiffuSpace, qui remercie l'équipe d'Alibaba pour ses travaux et son environnement d'entraînement.

Clover n'est donc pas un simple renommage de Qwen, mais une adaptation architecturale spécialisée d'une base existante. Cette distinction est essentielle pour comprendre la nature de la contribution technique de DiffuSpace. Une nouvelle version du Gated DeltaNet pour la diffusion

Au cœur du modèle, DiffuSpace a modifié le mécanisme Gated DeltaNet (GDN) afin de mieux gérer deux types d'informations.

La première correspond au contexte déjà produit, conservé sous forme d'état récurrent compact. La seconde concerne les tokens du bloc en cours de génération, qui doivent pouvoir interagir entre eux pour améliorer leurs prédictions.

Le système associe une mémoire historique compressée à une attention bidirectionnelle au sein du bloc.

L'équipe a également introduit un mécanisme permettant de calibrer l'influence de cette mémoire lorsque le nombre de tokens à traiter augmente. Une branche de convolution supplémentaire prend en compte les informations situées à droite d'une position dans le bloc.

Ces adaptations doivent permettre à Clover de conserver les avantages d'un traitement séquentiel efficace pour les contenus précédents, tout en exploitant la génération parallèle dans le bloc courant.

Le modèle dispose par ailleurs d'une fenêtre de contexte de 131 072 tokens, en comptant l'entrée et la réponse générée, et propose un mode de raisonnement. Jusqu'à 680 tokens par seconde sur un NVIDIA GB300

Le principal chiffre de performance avancé par DiffuSpace concerne la vitesse de génération.

Dans ses mesures internes sur des charges de travail agentiques, Clover atteint 680 tokens par seconde avec un seul GPU NVIDIA GB300, en précision BF16 et avec une taille de batch de 1.

Sur un NVIDIA H200, le laboratoire annonce 515 tokens par seconde, contre 365 tokens par seconde pour une configuration de Qwen accélérée avec DFlash2.

Ces résultats suggèrent un avantage important pour les tâches nécessitant des réponses répétées, comme les agents de programmation ou les systèmes utilisant plusieurs outils.

Il faut toutefois distinguer le débit de génération de la latence réellement ressentie par l'utilisateur. La durée de traitement du prompt, l'exécution des outils, les transferts de données et les éventuelles opérations de vérification peuvent modifier le temps total d'une tâche.

Les chiffres de 680 et 515 tokens par seconde proviennent des essais de DiffuSpace. Ils ne constituent pas encore une mesure indépendante et universelle de la vitesse du modèle sur toutes les configurations. Des résultats élevés en programmation et en utilisation d'outils

DiffuSpace présente Clover comme particulièrement performant sur les tâches