L'IA vocale apprend à interpréter ses textes avant de les prononcer

Inworld AI enrichit Realtime TTS-2 d’un système de raisonnement capable d’adapter émotion, intonation et rythme au contexte de chaque réplique.

Une même phrase peut exprimer la joie, la colère ou une profonde déception. Pourtant, les modèles de synthèse vocale ont longtemps eu besoin d'instructions supplémentaires pour distinguer ces intentions. Avec Reasoning for Realtime TTS-2, Inworld AI introduit une étape de raisonnement avant la génération audio. Le système analyse le texte et son contexte, puis détermine automatiquement la manière de le prononcer. Cette évolution s'accompagne d'améliorations de vitesse, de fidélité vocale et de stabilité lors des conversations prolongées. Comprendre une intention avant de produire une voix

L'exemple choisi par Inworld repose sur une phrase volontairement ambiguë : « I can't believe you did that. » Selon la situation, elle peut exprimer l'enthousiasme devant une surprise ou la douleur provoquée par une trahison. Sans information complémentaire, un système de synthèse vocale risque de produire une interprétation neutre, indépendamment de l'émotion que la scène devrait transmettre.

Le nouveau fonctionnement de Realtime TTS-2 ajoute une étape d'interprétation à la demande de synthèse. Un modèle de langage spécialisé examine la phrase ainsi que les informations contextuelles transmises par l'application. Il rédige ensuite une consigne de jeu vocal précisant l'émotion, le ton, l'intensité ou le rythme souhaités. Le moteur de synthèse utilise cette instruction pour produire l'enregistrement audio.

Dans la démonstration présentée par l'entreprise, une réunion inattendue entre amis conduit à une voix chaleureuse et enthousiaste, presque souriante. La même phrase, placée dans le contexte d'une trahison amoureuse, est interprétée avec retenue, douleur et incrédulité.

Le contexte intervient uniquement dans la préparation de l'interprétation : il n'est pas prononcé dans l'enregistrement final. La consigne générée est également renvoyée dans la réponse de l'API, permettant aux développeurs de contrôler la manière dont le système a interprété leur demande. La fin des émotions programmées à la main ?

Jusqu'ici, les applications vocales pouvaient s'appuyer sur des marqueurs explicites comme « happy », « sad » ou « angry » pour orienter la synthèse. Ces indications devaient être ajoutées manuellement ou générées par le modèle de langage responsable de la conversation.

Le fonctionnement détaillé par Inworld remplace cette sélection parmi des catégories prédéfinies par une consigne libre, capable de combiner plusieurs nuances. Une voix peut ainsi être décrite comme calme, légèrement blessée et marquée par une incrédulité contenue, plutôt que simplement classée dans la catégorie « triste ».

L'intérêt pour les développeurs réside également dans la simplification des instructions. Il n'est plus indispensable de maintenir une longue liste de règles expliquant au modèle conversationnel quand utiliser chaque émotion. Celui-ci peut se concentrer sur la génération du texte, tandis que la couche vocale détermine son interprétation.

Cette automatisation ne retire pas le contrôle de l'utilisateur. Les consignes explicites et les marqueurs émotionnels insérés directement dans le texte restent prioritaires sur les décisions prises par Reasoning. Le système peut donc interpréter une réplique de manière autonome, tout en respectant une direction artistique imposée par le développeur. Une génération jusqu'à 13 % plus rapide

La mise à jour ne concerne pas uniquement l'expressivité. Le moteur Realtime TTS-2 bénéficie également d'optimisations de performance. Selon les mesures internes d'Inworld, les phrases courtes sont désormais générées environ 13 % plus rapidement que sur la version précédente, contre 9 % pour les séquences de longueur moyenne.

Ces gains portent sur la durée de génération vocale, et non sur le temps total nécessaire à une application conversationnelle pour répondre. Ce dernier dépend aussi de la détection de la fin de parole, du modèle de langage, des échanges réseau et de la lecture audio.

Les résultats du benchmark indépendant de Cekura apportent un autre éclairage sur les performances de la famille TTS-2. Dans les tests publiés avant cette mise à jour, Realtime TTS-2 Flash atteint une latence médiane de 46 millisecondes avant le premier son audible, avec l'intégralité du texte fournie dès le départ. Il occupe la première place parmi 27 modèles évalués dans cette catégorie précise.

De son côté, Realtime TTS-2 prononce correctement 93,4 % des éléments considérés comme difficiles dans le protocole de Cekura, notamment les nombres, les abréviations, les codes, les adresses et certains termes médicaux. L'évaluation s'appuie sur 104 phrases prononcées à trois reprises, puis analysées à l'aide de transcriptions automatiques.

Ces résultats ne mesurent pas directement la qualité émotionnelle du nouveau système Reasoning. Ils concernent les versions testées avant son introduction et ne doivent pas être interprétés comme une validation indépendante de cette fonctionnalité. Des voix plus stables, même dans les longues conversations

Les ajustements concernent aussi la reproduction des voix personnalisées. Inworld indique avoir amélioré la fidélité aux enregistrements de référence dans le mode Stable, particulièrement pour les voix dont les caractéristiques étaient difficiles à reproduire.

L'entreprise s'est également intéressée à la dérive vocale observée pendant les longues sessions. Au fil des échanges, une voix synthétique peut progressivement modifier son timbre ou son identité sonore. La nouvelle version cherche à limiter ces variations afin de préserver une continuité perceptible entre les différentes interventions.

D'autres corrections portent sur la précision de la prononciation. Certains mots pouvaient être omis dans les passages prolongés, tandis que des consonnes finales perdaient en netteté. Inworld mentionne notamment les sons correspondant aux lettres p, t et k, dont la restitution est importante pour l'intelligibilité.

Le mode Creative bénéficie lui aussi d'ajustements destinés à rendre les interprétations plus