Meta veut réunir un million de GPU dans Prometheus pour entraîner ses futurs modèles d'IA

Meta détaille Prometheus, son supercalculateur de l'Ohio destiné à réunir un million de GPU, déjà utilisé pour entraîner Muse Wonder avec plus de 85 % de calcul utile.

Dans l'Ohio, Meta transforme un ancien site de centres de données en une infrastructure destinée à faire fonctionner près d'un million de processeurs graphiques comme un seul système. Baptisé Prometheus, ce supercalculateur à l'échelle du gigawatt a déjà servi à entraîner les modèles Muse, dont Muse Wonder, et rassemble actuellement plusieurs centaines de milliers de GPU répartis entre différents bâtiments. Dans une publication technique du 19 octobre 2026, le groupe détaille moins la puissance théorique de l'installation que les problèmes rencontrés pour la rendre exploitable : pannes matérielles, communications entre processeurs, variations électriques et refroidissement. L'enjeu est de maintenir les entraînements en activité malgré la multiplication des composants susceptibles de les interrompre. Des centaines de milliers de GPU répartis entre plusieurs bâtiments

Installé à New Albany, Prometheus occupe un site qui hébergeait encore, deux ans auparavant, des infrastructures classiques destinées notamment aux services web de Meta. Sa transformation s'est accompagnée d'une refonte des bâtiments, des équipements informatiques et des réseaux de communication. La première phase est achevée et a été utilisée pour entraîner les modèles Muse, tandis que les extensions prévues doivent porter l'installation à environ un million de GPU.

À cette échelle, la puissance de calcul ne dépend plus seulement du nombre de processeurs disponibles. Les machines doivent échanger de grandes quantités de données pendant l'entraînement, parfois avec des contraintes de synchronisation très strictes. Un processeur ralenti, une connexion défaillante ou un serveur indisponible peut alors affecter l'ensemble du travail. Meta a donc conçu Prometheus comme un système distribué à l'échelle de plusieurs bâtiments, plutôt que comme une simple addition de centres de données.

L'infrastructure associe actuellement deux générations de matériels NVIDIA, les GB200 Blackwell et GB300 Blackwell Ultra. Une troisième, reposant sur Vera Rubin, doit être ajoutée ultérieurement. Le premier ensemble, baptisé Catalina, regroupe 72 GPU GB200 dans deux racks interconnectés ; Clemente, fondé sur GB300, rassemble les 72 GPU dans un seul rack. Cette évolution porte la mémoire disponible de 13,4 à 20,7 téraoctets par ensemble de 72 GPU, tout en augmentant la densité de calcul. Elle s'accompagne cependant de besoins électriques considérables, avec environ 120 kilowatts pour le système Catalina et 135 kilowatts pour un rack Clemente. Un réseau qui doit fonctionner comme une seule machine

L'entraînement distribué impose aux GPU de communiquer rapidement, même lorsqu'ils se trouvent dans des bâtiments différents. Meta utilise pour cela un réseau Ethernet distinct de celui destiné aux services informatiques traditionnels. Au niveau d'un bâtiment, une même infrastructure réseau peut relier jusqu'à 20 736 GPU, tandis qu'un réseau d'agrégation assure les échanges entre des installations éloignées de deux à plus de cent kilomètres.

Ces distances compliquent la synchronisation des calculs. Les communications à l'intérieur d'un groupe de machines sont particulièrement sensibles à la latence, alors que d'autres échanges peuvent être répartis entre des ensembles plus éloignés. Meta explique avoir adapté l'organisation des entraînements et les mécanismes de communication à cette hiérarchie, avec l'objectif de réduire les périodes pendant lesquelles les GPU attendent des données au lieu de calculer.

Le groupe a également fait évoluer l'architecture de ses réseaux internes pour limiter les congestions provoquées par de grands flux simultanés. L'installation mobilise des dizaines de milliers de commutateurs, des millions de composants optiques et une infrastructure de fibre à très grande échelle. Sa complexité explique pourquoi une interruption locale peut avoir des conséquences dépassant largement le serveur concerné. Huit GPU de réserve par ensemble de 72

L'une des décisions les plus concrètes concerne la gestion des pannes. Les systèmes NVIDIA NVL72 permettent de faire fonctionner 72 GPU dans un même domaine de communication rapide, mais ce regroupement augmente aussi le nombre de composants qu'une défaillance peut perturber simultanément. Par rapport aux anciennes configurations NVL8, le domaine de défaillance est neuf fois plus important.

Meta a choisi de ne mobiliser que 64 GPU sur les 72 disponibles pour chaque groupe de calcul, en conservant les huit autres comme unités de remplacement. Lorsqu'un processeur tombe en panne, un GPU de réserve peut prendre sa place et l'entraînement redémarre depuis son dernier point de sauvegarde sans attendre une réparation physique. Le groupe maintient aussi environ 2 % de racks supplémentaires pour les incidents qui affecteraient une unité entière.

Pour un entraînement utilisant 32 768 GPU actifs, cette organisation nécessite ainsi 523 racks NVL72, soit 37 656 GPU installés. La capacité totale dépasse d'environ 13 % celle réellement affectée au calcul, essentiellement en raison du choix de n'utiliser que 64 GPU sur chaque groupe de 72. Cette redondance représente un coût matériel, mais réduit le risque qu'une panne immobilise durablement l'entraînement.

Meta ajoute deux mécanismes logiciels à cette organisation. Lorsqu'une défaillance reste limitée à une réplique du modèle, la technique Parallelism-Aware Fault Tolerance permet de l'isoler pendant que les autres poursuivent leurs calculs. Si l'incident affecte une partie plus importante du système, l'entraînement redémarre depuis un point de sauvegarde distribué. Ces sauvegardes sont effectuées de manière asynchrone afin de limiter la perte de travail sans ralentir excessivement l'exécution. Une réduction de 99 % des interruptions

Les premières phases de Prometheus ont montré les difficultés de cette architecture. Au milieu de l'année 2025, Meta enregistrait jusqu'à près de 1 000 interruptions quotidiennes pour 8 000 GPU, selon son retour d'expérience. Après une année de