Z1T adapte le Transformer à une puce qui calcule avec le hasard

Extropic présente Z1T, une famille de modèles sparse conçue pour sa puce probabiliste Z1, avec des gains énergétiques face au H100 encore fondés sur des projections.

Jusqu’à 139 fois moins d’énergie qu’un GPU H100 pour générer un token. Le chiffre avancé par Extropic attire immédiatement l’attention, mais il ne décrit ni un grand modèle de langage complet ni une mesure réalisée sur un produit disponible. Z1T reste une expérience de co-conception entre une architecture très sparse, une puce probabiliste et un coprocesseur classique.

Présentée le 4 septembre 2026, la famille Z1T constitue la première tentative publique d’Extropic pour adapter des modèles de type Transformer à Z1, sa future puce de calcul thermodynamique. L’entreprise publie en parallèle les poids de Z1T-0 sur Hugging Face et les recettes d’entraînement en JAX sur GitHub.

Le projet part d’un constat simple : les Transformer actuels ont été façonnés par le matériel sur lequel ils s’exécutent. Les GPU excellent dans les grandes multiplications de matrices denses, où la plupart des valeurs participent à chaque opération. Les modèles ont donc adopté des couches, des mécanismes d’attention et des formats correspondant à cette organisation.

Z1 fonctionne selon une contrainte presque inverse. Sa structure physique relie chaque unité à un nombre limité de voisines. Extropic ne cherche donc pas à reproduire directement un Transformer dense sur sa puce. L’entreprise modifie l’architecture du modèle pour qu’elle épouse les connexions déjà présentes dans le silicium.

La puce utilise des « pbits », ou bits probabilistes. Contrairement à un bit numérique maintenu dans un état stable, un pbit oscille volontairement entre deux valeurs sous l’effet du bruit thermique. Des biais et des connexions réglables modifient la probabilité de chacun de ces états.

Le système ne lit pas une seule oscillation comme une réponse définitive. Il observe plusieurs échantillons, puis en calcule la moyenne afin de produire une valeur exploitable par un réseau de neurones. Le nombre d’échantillons peut être augmenté pour obtenir une estimation plus précise, au prix d’un temps de traitement supplémentaire.

Cette approche ne relève pas de l’informatique quantique. Z1 n’utilise ni qubits, ni superposition, ni refroidissement cryogénique. La puce repose sur des circuits CMOS fonctionnant avec le bruit thermique à très faible puissance. Sa particularité consiste à utiliser cette instabilité physique comme ressource de calcul au lieu de chercher à l’éliminer.

D’après Extropic, une puce Z1 comprend huit cœurs, 269 568 pbits et un peu plus de 2,1 millions de connexions physiques. Chaque pbit possède seize liaisons réglables. La fréquence interne d’échantillonnage dépasse 50 MHz et la consommation annoncée reste inférieure à un watt.

Cette connectivité limitée constitue à la fois l’intérêt et la contrainte du matériel. Une matrice dense ne peut pas y être déposée telle quelle. Les couches de Z1T sont donc entraînées dès le départ avec un nombre fixe de connexions plutôt que réduites après leur apprentissage.

Dans la configuration la plus directement pensée pour Z1, chaque sortie ne reçoit que quatre valeurs d’entrée. Chacune est représentée par quatre pbits, ce qui occupe les seize connexions disponibles autour de l’unité de sortie. Les poids utilisent une représentation sur quatre bits.

Ce choix réduit fortement la quantité de travail effectuée à chaque passage. Il limite aussi la quantité d’information que chaque couche peut échanger. Pour compenser, un modèle sparse doit parfois devenir plus large ou plus profond qu’un modèle dense possédant des performances comparables.

Les expériences d’Extropic confirment ce compromis. Sur OpenWebText, les modèles Z1T nécessiteraient environ dix fois plus de FLOPs d’entraînement pour atteindre la même perte qu’un modèle GPT-2 dense. L’avantage attendu ne vient donc pas d’un apprentissage plus économe, mais du coût physique beaucoup plus faible attribué aux opérations sparse lors de l’inférence.

La comparaison avec GPT-2-small repose par ailleurs sur une extrapolation. La courbe publiée estime qu’environ (9,5 \times 10^{19}) FLOPs seraient nécessaires pour égaler sa perte de validation. Elle ne montre pas un modèle Z1T ayant effectivement atteint ce niveau au terme d’un entraînement complet.

Extropic étudie aussi des variantes plus proches de GPT-2 afin d’isoler l’effet de la connectivité. Les tests font varier le nombre de connexions par sortie entre 4, 16, 32, 64 et 128, auxquels s’ajoute une version dense. À quantité de calcul identique, les opérations denses restent plus efficaces pour réduire la perte. L’entreprise mise donc sur une différence de coût énergétique suffisamment importante pour renverser cette hiérarchie au niveau du matériel.

Z1T modifie également plusieurs composants habituels du Transformer. La normalisation RMSNorm est remplacée par Dynamic Tanh, une fonction plus adaptée aux cellules probabilistes de Z1. L’attention classique fondée sur softmax laisse place à une forme d’attention convolutionnelle avec portes.

Cette dernière combine une courte fenêtre locale et une somme cumulative des informations plus anciennes. Elle évite de comparer directement chaque token avec tous ceux qui le précèdent, comme le fait une attention dense traditionnelle. Les projections servant à calculer ses portes restent elles aussi très sparse.

Toutes les opérations ne peuvent cependant pas être exécutées sur Z1. Extropic envisage donc une architecture hybride dans laquelle les tokens circulent entre plusieurs puces Z1 et un FPGA, un composant numérique reprogrammable.

Z1 prend en charge les projections sparse et les transformations utilisant la fonction tanh. Le FPGA conserve notamment l’orchestration, certaines additions, les connexions résiduelles, les opérations de regroupement et la projection finale vers le vocabulaire. Ce partage permet de tirer parti du matériel probabiliste sans lui demander d’exécuter des calculs auxquels il n’est pas adapté.

L’entreprise destine pour l’instant cette configuration à la phase de décodage, lorsque le modèle génère les tokens successivement. Le traitement initial de