Un modèle de 320 milliards de paramètres tourne intégralement sur des puces chinoises

GLM-5.3-Flash combine multimodalité, contexte d’un million de tokens et open weights sous licence MIT, avec seulement 18 milliards de paramètres activés.

Faire fonctionner un modèle de 320 milliards de paramètres pour une fraction du prix habituellement demandé constitue déjà un argument commercial. L’avoir déployé à grande échelle sans puces Nvidia en ajoute un autre, plus politique. Avec GLM-5.3-Flash, Z.ai présente à la fois un nouveau modèle multimodal, une architecture pensée pour réduire le coût des longs contextes et une démonstration de l’autonomie croissante de l’infrastructure chinoise.

GLM-5.3-Flash est le premier modèle nativement multimodal de la famille GLM-5. Il accepte du texte, des images, des vidéos et des fichiers, puis produit du texte. Ses usages visés dépassent donc la conversation : développement d’interfaces, manipulation d’applications, analyse de documents, recherche financière, création de présentations ou exploitation de contenus visuels.

Le modèle possède 320 milliards de paramètres, mais n’en active que 18 milliards pour traiter chaque token. Cette structure en mélange d’experts sélectionne une partie du réseau en fonction de la requête, afin d’augmenter la capacité totale sans mobiliser l’ensemble du modèle à chaque étape.

Cette différence entre capacité totale et calcul actif ne rend pas le modèle léger pour autant. La version FP8 publiée sur Hugging Face occupe environ 328 Go, répartis entre 62 fichiers principaux. La version BF16 atteint 643 Go. Le mot « Flash » désigne donc surtout son efficacité en production et son prix d’utilisation, pas un modèle prévu pour une machine personnelle ordinaire.

Le déploiement autonome reste possible avec SGLang, vLLM, TokenSpeed, Transformers, KTransformers ou Unsloth. Il demande toutefois une infrastructure capable de conserver les poids, les états intermédiaires et le cache lié au contexte. L’exploitation de la fenêtre maximale d’un million de tokens accroît encore les besoins en mémoire, même si tous les paramètres ne sont pas sollicités simultanément.

Cette fenêtre de contexte peut accueillir un long historique de conversation, un ensemble documentaire, une partie importante d’un dépôt logiciel ou de nombreux éléments visuels au cours d’une même requête. Elle ne garantit pas que chaque information sera retrouvée avec la même précision, ni que son utilisation restera aussi rapide qu’avec une entrée courte. La prise en charge technique d’un million de tokens et la capacité à raisonner correctement sur toute cette longueur restent deux mesures différentes.

Pour limiter le coût de ces volumes, le modèle associe attention linéaire et attention parcimonieuse. La première maintient une représentation condensée des éléments précédents, plutôt que de comparer systématiquement chaque nouveau token avec tout le contexte. La seconde conserve la possibilité de retrouver des informations éloignées, mais sélectionne seulement les zones estimées pertinentes.

Un composant appelé IndexPool réduit encore la charge de cette recherche globale. Il rassemble quatre vecteurs de l’index en une seule représentation pondérée. Selon Z.ai, cette compression diminue la latence et la mémoire nécessaires à la sélection des passages utiles lorsque le contexte approche du million de tokens.

Le modèle adopte également les Manifold-Constrained Hyper-Connections, ou mHC. Ce système élargit les chemins par lesquels l’information circule entre les couches, tout en imposant des contraintes destinées à maintenir la stabilité du réseau. L’objectif est d’améliorer la montée en capacité sans augmenter le calcul actif dans les mêmes proportions.

Par rapport à la série GLM-4.5, le nombre de couches passe de 92 à 45 et les paramètres activés de 32 à 18 milliards, alors que la taille totale reste assez proche : 355 milliards pour GLM-4.5 contre 320 milliards ici. L’appellation Flash repose en grande partie sur cette architecture plus courte et plus sélective.

La documentation de Z.ai revendique une division par trois du calcul consacré à l’attention et par 4,4 de la taille moyenne du cache KV par rapport à GLM-5.3. Ces valeurs sont calculées par tête et par couche dans les configurations comparées. Elles ne correspondent pas directement à une accélération identique du modèle complet, car l’encodage multimodal, le routage des experts, les transferts de mémoire et l’infrastructure de diffusion interviennent également.

Z.ai reconnaît d’ailleurs que le cache reste légèrement plus volumineux que ceux de Kimi-K3 et DeepSeek-V4-Flash dans sa comparaison. Le modèle affiche le coût d’attention le plus faible du groupe retenu, mais pas la meilleure mesure sur chaque composant.

L’entraînement repose sur un nouveau modèle de base et un corpus multimodal annoncé à 30 000 milliards de tokens. L’entreprise ne publie pas la composition détaillée de cet ensemble, les proportions attribuées à chaque langue et type de contenu, ni les données permettant de reproduire entièrement l’entraînement. La publication des poids ne donne donc pas accès à toute la chaîne de fabrication.

Les résultats communiqués positionnent GLM-5.3-Flash au-dessus de GLM-5.2 sur plusieurs évaluations de programmation et d’agents. Sur DeepSWE 1.1, il obtient 63,4 contre 46,2 pour son prédécesseur. Il dépasse également dans ce test les 58 points attribués à Claude Opus 4.8, tout en restant derrière Gemini 3.7 Flash à 65,3 et GPT-5.6 Terra à 69,6.

Sur Terminal-Bench 2.1, son score de 84,3 se rapproche des 85 points de Claude Opus 4.8, mais reste inférieur aux 85,8 de Gemini 3.7 Flash et aux 87,4 de GPT-5.6 Terra. Sur AutomationBench 1.0.6, il atteint 48,8 contre 26,2 pour GLM-5.2, 41 pour Claude Opus 4.8 et 52,3 pour Gemini 3.7 Flash.

Ces chiffres doivent être lus avec leurs conditions d’exécution. Terminal-Bench a été lancé à travers Claude Code avec six heures accordées à chaque tâche. DeepSWE utilise mini-SWE-agent, un contexte de 400 000 tokens et le même délai. Plusieurs tests autorisent des outils, des sorties très longues ou une gestion spécifique du contexte. Les résultats dépendent donc autant du modèle que du harnais, des autorisations et des paramètres retenus.

Z.ai