Voxtral 3 : Mistral AI veut faire parler ses agents vocaux en moins d'une seconde

Mistral AI présente Voxtral 3, ses nouveaux modèles de transcription et de synthèse vocale, avec un SDK d'agents, 50 langues et un déploiement souverain.

Une conversation avec un agent vocal peut encore donner l'impression de parler à un répondeur sophistiqué : le système attend la fin d'une phrase, interprète la demande, puis prépare une réponse avant de reprendre la parole. Avec Voxtral 3, présenté le 20 octobre 2026, Mistral AI cherche à réduire ces délais en associant de nouveaux modèles de transcription et de synthèse vocale à un SDK capable de coordonner l'ensemble de la conversation. La plateforme prend en charge la compréhension de demandes complexes, l'utilisation d'outils externes et la restitution de réponses expressives dans plusieurs dizaines de langues. Elle peut fonctionner depuis l'API de Mistral ou être déployée sur une infrastructure privée, une possibilité particulièrement destinée aux entreprises qui souhaitent conserver la maîtrise de leurs données vocales. Comprendre cinquante langues et reconnaître les interlocuteurs

La première composante de Voxtral 3 concerne la transcription. Avec Voxtral Small Transcribe 3, Mistral propose un modèle conçu pour convertir la parole en texte, identifier les différents interlocuteurs et intégrer du vocabulaire spécifique à une activité professionnelle. La famille comprend également Voxtral Mini Transcribe 3, une variante de quatre milliards de paramètres destinée aux usages où le coût et les ressources nécessaires au traitement sont déterminants.

Les deux modèles couvrent plus de cinquante langues, dont les vingt-quatre langues officielles de l'Union européenne. Leur fonction de context-biasing permet de transmettre des mots-clés ou des indications textuelles afin d'améliorer la reconnaissance de noms propres, de termes techniques et d'expressions peu courantes. Un service client peut ainsi fournir à l'outil le nom de ses produits ou de ses collaborateurs sans devoir procéder à un nouvel entraînement. La diarisation complète cette approche en permettant de distinguer qui a parlé et à quel moment, une fonctionnalité utile pour l'analyse de réunions et les retranscriptions d'entretiens.

Sur FLEURS, dans une comparaison portant sur quarante-cinq langues communes à sept systèmes, Voxtral Small Transcribe 3 affiche un taux d'erreur moyen de 4,0 % lorsque la langue est détectée automatiquement, et de 4,1 % lorsqu'elle est spécifiée. Mistral le situe devant plusieurs concurrents, dont Whisper large-v3, Scribe v2 et Gemini 3.5 Transcribe, selon les protocoles retenus. Les chiffres proviennent de l'évaluation présentée par l'entreprise et ne doivent pas être assimilés à une précision uniforme pour chaque langue, accent ou situation acoustique. Détecter la fin d'une phrase avant de répondre

La transcription en temps réel présente une difficulté supplémentaire : l'agent ne doit pas seulement comprendre les mots, mais aussi déterminer quand il peut répondre. Une pause peut signaler la fin d'une demande ou simplement une hésitation. Réagir trop tôt interrompt l'utilisateur ; attendre trop longtemps ralentit artificiellement la conversation.

Voxtral Mini Transcribe Realtime 3 associe la reconnaissance vocale à un système de détection de fin de tour prenant en compte les indices acoustiques et le sens des propos. Mistral annonce une transcription en moins de 500 millisecondes dans certaines configurations, avec une latence réglable selon le compromis recherché entre rapidité et fiabilité. Le service fonctionne en streaming via WebSocket et conserve les fonctions de diarisation et de prise en compte du vocabulaire contextuel.

Cette latence concerne le traitement de la parole, et non nécessairement la durée complète d'une réponse générée par un assistant. Les résultats de Mistral montrent également qu'une configuration plus rapide peut augmenter le taux d'erreur de transcription. Le système doit donc trouver un équilibre entre vitesse, qualité de reconnaissance et capacité à laisser l'utilisateur terminer son intervention. Une synthèse vocale capable d'interpréter les émotions

Pour produire les réponses, Mistral présente Voxtral Mini TTS 3, également commercialisé sous le nom de Voxtral Speech 3. Le modèle prend en charge plus de trente-cinq langues et cinquante variantes dialectales, avec un contrôle de la prononciation et du style vocal. Son objectif n'est pas uniquement de lire un texte correctement, mais de restituer les nuances qui rendent la parole crédible : rythme, accentuation, intensité et tonalité émotionnelle.

Deux modes de contrôle sont proposés. Le premier repose sur une interprétation implicite du contexte : le modèle déduit la manière de prononcer une phrase à partir de son sens et de la conversation. Le second permet d'imposer explicitement des indications dans le texte, à l'aide de balises comme `[emotion=sad]` ou `[pace=slow]`. Un développeur peut ainsi orienter l'expression d'une réplique sans modifier l'ensemble de la voix utilisée.

Mistral introduit également Pro Voice, une fonction d'adaptation destinée aux usages professionnels. À partir d'un enregistrement pouvant atteindre trente minutes, elle cherche à reproduire l'identité, les intonations et le registre expressif d'un locuteur dans les différentes langues prises en charge. Cette personnalisation peut servir à maintenir une identité vocale cohérente entre plusieurs marchés, sous réserve de disposer des droits et du consentement nécessaires à l'utilisation des enregistrements.

L'entreprise met en avant ses performances de fidélité à la prononciation, notamment sur les numéros, les noms propres et d'autres contenus susceptibles de provoquer des erreurs en synthèse vocale. Les résultats sont toutefois issus de protocoles spécifiques, dont certains utilisent un autre modèle d'IA comme évaluateur, et ne constituent pas une mesure universelle de préférence humaine. Un SDK qui sépare écoute, raisonnement et parole

L'une des principales nouveautés de Voxtral 3 réside dans son SDK d'agents vocaux construit sur LiveKit. Contrairement à une architecture où chaque étape attend la fin de la précédente, le système organise plusieurs composants