Ming-3.0 : Ant Group publie cinq modèles ouverts pour générer, comprendre et transcrire la voix

Ant Group publie cinq modèles Ming-3.0 à poids ouverts pour la synthèse vocale, la compréhension audio et la transcription, avec contrôle des émotions.

Créer une voix à partir d'une description, lui faire exprimer une émotion, analyser un entretien ou retranscrire une conversation malgré les accents et les bruits de fond. Avec Ming-3.0, l'équipe Ant Ling d'Ant Group publie cinq modèles à poids ouverts couvrant trois domaines du traitement vocal : la synthèse, la compréhension audio et la reconnaissance automatique de la parole. Cette nouvelle famille associe un modèle compact de 500 millions de paramètres à des architectures à experts pouvant atteindre 126 milliards de paramètres au total. Les poids sont disponibles sur Hugging Face et ModelScope, avec des intégrations prévues pour les infrastructures d'inférence vLLM et SGLang. Des voix que l'on peut décrire et diriger par écrit

La première branche, Ming-3.0-tts, se concentre sur la génération vocale à partir de texte. Elle comprend deux modèles : une version de 500 millions de paramètres et Ming-3.0-tts-tiny, construit sur une architecture Mixture-of-Experts de 7,9 milliards de paramètres, dont environ 1,3 milliard sont activés par token. Cette distinction permet de proposer des configurations adaptées à différents besoins de génération et de déploiement.

L'une des fonctionnalités mises en avant est le Voice Design. Au lieu de sélectionner uniquement une voix préenregistrée, l'utilisateur peut décrire ses caractéristiques avec des instructions en langage naturel. Le modèle cherche ensuite à produire un timbre et une interprétation correspondant à cette description. Il est également possible de fournir un court extrait sonore pour reproduire les caractéristiques d'une voix de référence, sans entraînement supplémentaire spécifique.

Le contrôle ne porte pas seulement sur l'identité vocale. Les deux modèles acceptent des instructions relatives à l'émotion, au débit, à la hauteur et au volume, ainsi que des indications intégrées directement au texte. Quatorze balises permettent notamment de demander un rire, un soupir, une hésitation, une toux ou certaines réactions vocales. Ces fonctions s'adressent à la narration, aux personnages virtuels et aux assistants conversationnels, où l'intonation peut jouer un rôle aussi important que les mots prononcés.

La synthèse prend en charge sept langues : chinois, anglais, allemand, espagnol, français, coréen et japonais, auxquelles s'ajoutent des possibilités de contrôle pour certains dialectes chinois, dont le cantonais et le sichuanais. La variante TTS Tiny propose également la génération de dialogues à plusieurs intervenants à partir d'un scénario et de références vocales, avec des applications possibles dans les podcasts ou les formats narratifs longs. Des résultats annoncés parmi les meilleurs modèles vocaux ouverts

Ant Ling met particulièrement en avant les performances de Ming-3.0-tts-0.5B. Selon l'annonce, le modèle atteint 1 069 points Elo dans le classement Controlled Voice d'Artificial Analysis, ce qui le placerait au premier rang des modèles à poids ouverts pour cette catégorie. Il obtient également 1 188 points Elo dans l'évaluation Provider Voice, à la troisième place annoncée, et un résultat de 93,2 % en robustesse de prononciation, ex æquo avec les meilleurs modèles évalués.

Ces chiffres concernent des protocoles distincts, et non une mesure unique de qualité vocale. Le classement Controlled Voice examine notamment la capacité à produire une voix dirigée par des instructions, tandis que la robustesse de prononciation porte sur le respect des mots à prononcer. Un modèle peut donc être performant dans une catégorie sans obtenir les mêmes résultats sur la fidélité au locuteur, la stabilité d'un dialogue long ou l'expression émotionnelle.

Les évaluations détaillées publiées avec les poids montrent également des compromis entre les deux variantes. Sur les tests multilingues reproduits par l'équipe, Ming-3.0-tts-tiny obtient par exemple un taux d'erreur sur les mots de 0,971 % en espagnol et de 3,470 % en français, contre 1,099 % et 4,264 % pour la version 0.5B. En revanche, les auteurs signalent que la ressemblance avec le locuteur de référence reste moins convaincante sur certaines langues, particulièrement le français pour la version compacte.

La maîtrise simultanée de plusieurs événements vocaux et la justesse de certaines émotions restent également perfectibles. Les performances annoncées doivent donc être lues comme des résultats obtenus sur des évaluations ciblées, et non comme la garantie d'une restitution expressive irréprochable dans toutes les situations. <Cite refs={["turn445094search3","turn345699search0"]}/> Comprendre un enregistrement plutôt que simplement le transcrire

La deuxième branche, Ming-3.0-audio, va au-delà de la reconnaissance des mots prononcés. Elle est conçue pour interpréter des contenus audio et répondre à des questions portant sur ceux-ci. Ses applications comprennent l'analyse de réunions, les entretiens, la compréhension de sons environnementaux ou musicaux, ainsi que les services capables de recevoir des instructions vocales.

Le modèle le plus volumineux, Ming-3.0-audio-flash, repose sur une architecture à experts de 126 milliards de paramètres au total, dont 6,5 milliards actifs par étape d'inférence. Sa variante audio-tiny compte 9,3 milliards de paramètres, dont 2,7 milliards actifs. La taille totale de ces architectures ne correspond donc pas au volume de paramètres mobilisés à chaque opération. Cette organisation vise à combiner une capacité de représentation importante avec des coûts de calcul plus contenus qu'une activation intégrale des paramètres.

Les deux modèles acceptent des contenus audio accompagnés d'instructions textuelles. Ils peuvent notamment identifier des informations dans un enregistrement, répondre à une question formulée oralement ou produire une sortie textuelle accompagnée, selon la configuration, d'une réponse vocale synthétique. Ming-3.0-audio-flash peut également générer des demandes d'utilisation d'outils que des applications externes sont ensuite chargées d'exécuter.

Cette dernière