MiniMax confie une partie de l’inférence de M3.1 Flash à Inferact et renforce son partenariat avec vLLM

MiniMax et Inferact collaborent pour exploiter M3.1 Flash en production et intégrer leurs optimisations au moteur d’inférence open source vLLM.

Publier les poids d'un modèle d'intelligence artificielle ne suffit pas à garantir qu'il pourra être exploité efficacement par les entreprises. Les architectures récentes imposent des contraintes sur la mémoire, la gestion des requêtes et les performances des accélérateurs, auxquelles les moteurs d'inférence doivent s'adapter. MiniMax et Inferact ont établi un partenariat d'ingénierie pour améliorer le déploiement de leurs modèles dans vLLM, tout en exploitant une partie du trafic de MiniMax M3.1 Flash sur l'infrastructure commerciale d'Inferact. Les deux entreprises travaillent sur la compatibilité des nouvelles architectures, l'optimisation du décodage et la validation des performances dès la disponibilité des modèles. Les améliorations issues de cette collaboration doivent être reversées au projet open source afin que d'autres développeurs puissent en bénéficier. Une infrastructure d'inférence partagée entre deux entreprises

MiniMax utilise déjà la plateforme d'Inferact pour servir une partie des requêtes adressées à ses modèles M3 et M3.1 Flash. Les demandes passant par les services de MiniMax peuvent être acheminées vers l'infrastructure d'Inferact, parallèlement aux capacités de calcul exploitées directement par MiniMax. Les entreprises indiquent que cette mise en production a été précédée de vérifications portant sur la qualité des réponses, les performances et la fiabilité du service.

Le fonctionnement repose sur une séparation entre le développeur du modèle et l'opérateur d'inférence. MiniMax conserve le contrôle des modalités de service de son modèle, tandis qu'Inferact fournit des capacités de calcul et un environnement optimisé pour traiter les requêtes. Sa plateforme prévoit des engagements de niveau de service, ou SLA, ainsi que des ajustements automatiques des paramètres d'exécution selon l'évolution du trafic.

L'intérêt de cette organisation apparaît lorsque la demande fluctue ou lorsque les requêtes deviennent plus complexes. Une infrastructure doit pouvoir accueillir de nouvelles sessions, gérer les pics d'utilisation et éviter que certaines opérations ne ralentissent excessivement les autres. Dans les applications agentiques, ces contraintes se multiplient parce qu'une même tâche peut entraîner de nombreux échanges successifs avec le modèle.

Les deux entreprises confirment l'existence de ce déploiement, mais ne communiquent ni la part du trafic traitée par Inferact, ni le nombre de requêtes concernées, ni les économies directement attribuables à cette organisation. Les agents IA imposent des contraintes particulières à l'inférence

M3.1 Flash cible notamment la programmation, l'automatisation de procédures et les tâches faisant intervenir plusieurs outils. Un agent de développement peut analyser un dépôt de code, consulter des fichiers, exécuter des commandes, examiner une erreur puis revenir vers le modèle pour choisir sa prochaine action. Une seule demande utilisateur se transforme alors en une succession de requêtes dépendantes les unes des autres.

Ces usages sollicitent fortement le moteur d'inférence. Les contextes peuvent s'allonger au fil des interactions, certaines portions des instructions sont répétées et la génération alterne avec des appels d'outils externes. Les temps d'attente s'accumulent lorsque chaque étape doit recevoir une réponse avant que la suivante puisse commencer.

L'optimisation ne porte donc pas uniquement sur le nombre de tokens générés par seconde. La réutilisation des informations conservées en mémoire, l'ordonnancement des requêtes, la gestion des longues entrées et les coûts associés aux différents accélérateurs jouent également un rôle.

MiniMax indique que M3.1 Flash atteint des débits de génération supérieurs à 200 tokens par seconde dans certaines conditions, avec une médiane dépassant 170 tokens par seconde, et revendique une réduction de 70 % des coûts d'utilisation par rapport à son prédécesseur. Ces chiffres concernent les performances et la tarification du modèle annoncées par MiniMax. Ils ne constituent pas une mesure du gain obtenu grâce au seul partenariat avec Inferact. Préparer vLLM avant la publication des nouveaux modèles

L'un des objectifs du partenariat consiste à assurer une prise en charge de chaque nouvelle version de MiniMax dès sa publication. Pour cela, les équipes interviennent en amont sur les chemins d'exécution propres au modèle et vérifient leur comportement sur les configurations matérielles prises en charge.

Ce travail comprend des tests de compatibilité, des optimisations du décodage et des mesures de performance. Il devient particulièrement important pour les architectures Mixture-of-Experts, dans lesquelles tous les paramètres ne sont pas activés à chaque token, ainsi que pour les modèles multimodaux ou capables de traiter de longs contextes.

Un modèle publié avec des poids accessibles peut être difficile à utiliser immédiatement si le moteur d'inférence ne reconnaît pas certaines opérations, ne gère pas correctement sa mémoire ou nécessite des adaptations spécifiques. Les travaux effectués avant sa sortie permettent aux utilisateurs de disposer plus rapidement d'une configuration fonctionnelle.

Les contributions sont destinées à vLLM, moteur d'inférence open source dont Inferact est issue et auquel ses équipes continuent de contribuer. La collaboration bénéficie ainsi à la plateforme commerciale d'Inferact, mais aussi aux organisations qui exploitent vLLM sur leur propre infrastructure. Une plateforme commerciale construite autour d'un moteur ouvert

Fondée par des créateurs et mainteneurs de vLLM, Inferact développe une offre commerciale destinée aux entreprises qui souhaitent exploiter des modèles à grande échelle. Elle associe le moteur open source à des outils d'exploitation, de surveillance et d'optimisation adaptés aux contraintes d'un service en production.

L'entreprise met notamment en avant la possibilité d'ajuster les configurations en fonction du matériel disponible et du profil des requêtes. Un service