MAI-Base-2 : Microsoft détaille sa nouvelle infrastructure d'entraînement

Microsoft dévoile MAI-Base-2, son modèle de 2 800 milliards de paramètres, préentraîné sur 16 000 GPU NVIDIA GB200 pendant 38 jours.

2 800 milliards de paramètres, 16 000 GPU NVIDIA GB200 et 38 jours d'entraînement. Avec MAI-Base-2, Microsoft AI détaille le développement de son nouveau modèle fondamental, conçu à partir de sa propre infrastructure et de ses données d'entraînement. Le système active 80 milliards de paramètres par token et intègre nativement la compréhension visuelle. Microsoft revendique également une efficacité d'entraînement supérieure à celle de DeepSeek-V4-Pro-Base dans ses évaluations internes. Le préentraînement est terminé, mais le modèle doit encore passer par une phase d'amélioration avant d'être proposé aux utilisateurs. 2 800 milliards de paramètres, dont 80 milliards actifs

MAI-Base-2 repose sur une architecture Mixture-of-Experts (MoE), dans laquelle différents groupes de paramètres sont sollicités selon les informations traitées.

Le modèle compte 2 800 milliards de paramètres au total, mais seuls 80 milliards sont activés pour chaque token. Cette architecture permet de répartir les connaissances entre plusieurs experts tout en limitant la quantité de calcul nécessaire à chaque opération.

Contrairement à MAI-Base-1, Microsoft a choisi de placer des blocs MoE à chaque couche du nouveau modèle. Ce changement a nécessité une réorganisation des opérations de calcul et de communication entre les GPU afin de réduire les pertes de performance.

MAI-Base-2 succède au modèle ayant servi de fondation à MAI-Thinking-1, présenté en juin. La nouvelle génération est plus volumineuse, plus clairsemée dans l'activation de ses paramètres et entraînée sur un ensemble de données élargi. 38 jours d'entraînement sur 16 000 GPU

Microsoft a entraîné MAI-Base-2 pendant 38 jours, entre août et septembre 2026, sur 16 000 GPU NVIDIA GB200.

L'entreprise communique deux indicateurs concernant l'utilisation de cette infrastructure.

Le premier, appelé Model FLOPs Utilization (MFU), mesure la proportion de la capacité théorique des processeurs réellement exploitée pour le calcul. Il atteint 21 % en moyenne sur l'ensemble de l'entraînement.

Le second, le goodput, représente la proportion du temps pendant laquelle l'entraînement progresse effectivement. Microsoft annonce un taux de 89 %.

Ces résultats tiennent compte des contraintes rencontrées lors d'un entraînement distribué à très grande échelle, notamment les échanges de données, la synchronisation des équipements et les interruptions possibles.

Les équipes ont également amélioré l'exécution des blocs MoE. Leur taux d'utilisation est passé de 24 % à 35 % après plusieurs optimisations destinées à limiter les opérations inutiles et les pertes de mémoire. Entre quatre et douze fois plus efficace que DeepSeek selon Microsoft

Microsoft présente MAI-Base-2 comme plus efficace à entraîner que DeepSeek-V4-Pro-Base, son principal point de comparaison parmi les modèles fondamentaux à poids ouverts.

Selon les évaluations publiées, la méthode d'entraînement de Microsoft nécessiterait entre 4,2 et 12,3 fois moins de calcul pour atteindre une qualité comparable, mesurée sur des jeux de données réservés aux évaluations.

Cette estimation repose sur des courbes reliant les ressources d'entraînement aux performances obtenues. Microsoft a comparé plusieurs versions expérimentales de ses modèles afin d'estimer les ressources nécessaires pour atteindre les résultats de DeepSeek.

Par rapport à MAI-Base-1, l'entreprise revendique une amélioration d'efficacité comprise entre 6,3 et 12,7 fois.

Ces chiffres ne signifient pas que MAI-Base-2 a été entraîné avec douze fois moins de ressources au total, ni que son utilisation coûtera douze fois moins cher. Ils décrivent l'efficacité estimée d'une méthode d'entraînement à qualité équivalente.

Microsoft indique également que MAI-Base-2 obtient de meilleurs résultats que les modèles à poids ouverts sélectionnés dans ses évaluations sur le texte, le code, les mathématiques et les connaissances scientifiques.

Ces comparaisons portent principalement sur la phase de préentraînement. Certains concurrents sont évalués dans leur version déjà affinée, ce qui limite la portée des comparaisons directes. Une méthode pour prévoir les performances avant l'entraînement complet

L'un des travaux techniques détaillés par Microsoft concerne les scaling ladders, des familles de modèles de différentes tailles entraînés selon une méthode commune.

Le laboratoire utilise ces modèles intermédiaires pour déterminer les paramètres d'entraînement avant de mobiliser une infrastructure beaucoup plus importante.

Une difficulté apparaît lorsque les petits modèles rencontrent plusieurs fois les mêmes données, alors que les grands modèles en voient une plus grande diversité.

Pour limiter ce biais, Microsoft a développé une méthode appelée source scaling. Elle ajuste la quantité de données uniques utilisée lors des expériences de petite taille afin de conserver des proportions comparables avec celles du modèle final.

Les équipes ont également établi de nouvelles relations mathématiques pour choisir le taux d'apprentissage, la régularisation et d'autres paramètres techniques.

Ces expérimentations ont permis d'anticiper plus précisément les résultats de MAI-Base-2 avant son entraînement complet, et de sélectionner des configurations adaptées à sa taille. Des optimisations pour éviter les pertes de mémoire

La répartition des tokens entre les experts MoE pose des contraintes particulières. Certains experts peuvent recevoir beaucoup plus de données que d'autres, provoquant des déséquilibres et des problèmes de mémoire.

Microsoft a développé un système d'exécution en plusieurs passages, avec une capacité mémoire fixe pour chaque groupe d'experts.

Lorsque la quantité de tokens dépasse la capacité disponible, les opérations supplémentaires sont réparties sur plusieurs passages au lieu d'être abandonnées.

Le système peut également réutiliser la capacité inutilisée d'autres experts du même groupe.

Cette organisation permet d'éviter certaines interruptions liées à la saturation mémoire, tout en limitant les ressources