Deux nouveaux TPU chez Google pour les longs contextes et l’inférence confidentielle

Le TPU 8i Max associe deux puces pour traiter de longs contextes. Le TPU 8tx vise à protéger les données et les paramètres des modèles pendant l’inférence.

Pour étendre sa huitième génération d’accélérateurs d’IA, Google a repris les deux puces présentées en avril et changé la façon de les assembler. Le TPU 8i, destiné à l’inférence à faible latence, sert de base au TPU 8i Max. Le TPU 8t, conçu pour l’entraînement à grande échelle, fournit le silicium du TPU 8tx. Les deux configurations annoncées le 9 novembre par Google Cloud portent à quatre le nombre de systèmes dans cette génération. Deux puces dans un boîtier pour les longs contextes

Un assistant qui parcourt un dépôt de code ou analyse plusieurs heures de vidéo doit garder en mémoire une partie des calculs déjà effectués sur ces entrées. Plus le contexte s’allonge, plus la quantité de données à conserver et à faire circuler augmente. Le débit de la mémoire peut alors limiter la vitesse à laquelle les puces travaillent.

Pour le TPU 8i Max, Google a réuni deux puces TPU 8i dans un même boîtier. Le constructeur annonce deux fois plus de capacité de calcul et de mémoire SRAM, ainsi qu’un débit doublé pour la mémoire à haute bande passante, dite HBM. L’ensemble tient dans une baie de mêmes dimensions. Ces chiffres décrivent les ressources matérielles disponibles. La taille de la fenêtre de contexte dépend aussi du modèle et de sa configuration. Des données protégées pendant leur traitement

Pour une administration qui utilise un modèle sur des dossiers sensibles, le chiffrement au stockage et pendant les échanges couvre deux étapes du traitement. Reste le moment où le modèle accède aux données pour produire une réponse. Le TPU 8tx associe la puce du 8t à des processeurs AMD EPYC de cinquième génération. Selon les précisions recueillies par Reuters, Google dit avoir intégré une protection matérielle pour isoler les données sensibles et les paramètres du modèle pendant leur utilisation.

La configuration reprend aussi le réseau à faible latence du TPU 8i. Google prévoit de l’utiliser pour l’inférence et pour des opérations d’entraînement à plus petite échelle. Une équipe pourrait ainsi ajuster un modèle sur ses données privées, puis l’exécuter sur le même système sans déplacer ces données vers un autre ensemble de serveurs. Moins d’attente pour les modèles et les agents

L’annonce matérielle s’accompagne d’un travail sur la circulation du cache KV. Ce cache conserve des résultats intermédiaires dont le modèle a besoin pour poursuivre sa réponse sans recalculer tout ce qu’il a déjà traité. La bibliothèque open source TPU Sync déplace ces données entre la mémoire de l’accélérateur et celle des serveurs. Elle peut, par exemple, transférer le cache entre la machine qui traite une longue consigne et celle qui génère la réponse.

Dans ses essais internes sur des TPU Ironwood de génération 7, Google rapporte une baisse de plus de 90 % du temps de transfert médian du cache pour Qwen3 235B, passé de plusieurs secondes à environ 230 millisecondes. Sur ce même modèle, le délai avant le premier jeton a diminué de 60 % en moyenne lors d’essais avec peu de requêtes simultanées.

Côté développement, TorchTPU fait tourner du code PyTorch sur les TPU et prend en charge certains modèles du Hugging Face Hub via Transformers. Un autre service, Agent Compute Engine, vise le temps passé à attendre une réponse d’un outil ou une validation humaine. Il sauvegarde l’état de la machine virtuelle d’un agent, la met en pause et reprend la session au même point quand la réponse arrive. Google utilise déjà le service pour Gemini et a annoncé une mise à disposition en préversion pour ses clients dans les prochains mois.