Du son nettoyé au dialogue, Inworld ouvre ses outils et ses méthodes
De l’isolation de la voix aux fins de tour, Inworld publie deux modèles Apache 2.0 et documente la synthèse vocale TTS-2.
Deux modèles consacrés à l’écoute rejoignent les publications ouvertes d’Inworld. L’un retire les bruits qui entourent une voix ; l’autre estime si quelqu’un parle et s’il a terminé son tour. Les sorties Voice Isolator et SAVA comprennent le code et les poids sous licence Apache 2.0, avec des usages commerciaux autorisés dans les conditions de cette licence. Un rapport technique sur Realtime TTS-2 complète l’annonce, en documentant la génération de parole à l’autre bout de la conversation. Nettoyer la voix en conservant son interprétation
Le modèle Voice Isolator vise à retirer les conversations de fond, la musique et les bruits tout en gardant les rires, respirations et particularités de la voix enregistrée. Il traite l’audio à 48 kHz et se décline en deux versions : l’une pour les enregistrements, l’autre pour les flux en direct. Les usages proposés couvrent la préparation d’un fichier avant diffusion, les jeux de données vocaux, les appels et les retransmissions.
La version en continu utilise 20 millisecondes d’audio à venir pour produire son résultat. Cette anticipation entre dans un délai propre au fonctionnement du modèle de 63 millisecondes, auquel s’ajoute le temps de calcul du matériel. Le dépôt prévoit une exécution sur CUDA, sur les Mac Apple silicon et sur CPU. La version actuelle est consacrée au débruitage : la restauration des informations perdues dans un enregistrement est annoncée pour une version ultérieure.
Le choix de la voix conservée a également ses limites. Le modèle privilégie la voix au premier plan ; lorsque deux personnes parlent à des niveaux proches, les deux peuvent rester audibles. Cette précision compte pour les entretiens ou les enregistrements à plusieurs voix : le système ne propose pas de sélectionner une personne particulière à isoler. Estimer quand une personne a terminé son tour
Le modèle SAVA, pour Semantic-Acoustic Voice Activity, combine le signal sonore et le contexte de la phrase. Il produit deux probabilités distinctes : la présence de parole et la fin du tour de l’interlocuteur. Son entrée est un flux mono à 16 kHz, et ses sorties sont calculées toutes les 40 millisecondes. Le modèle compte 25,5 millions de paramètres et peut fonctionner sur CPU.
La distinction entre les deux sorties importe pour l’intégration. La détection de parole utilise 120 millisecondes de contexte futur, tandis que la détection de fin de tour n’ajoute pas cette anticipation. L’application reste responsable de la politique de dialogue, notamment de la gestion des interruptions et des brèves marques d’acquiescement. Le modèle lui fournit des signaux sur lesquels régler ses décisions.
Sur les enregistrements de réunions AMI, les mesures publiées dans le dépôt donnent une médiane de 71 millisecondes pour détecter une fin de tour, contre 210 pour pipecat smart-turn v3.2. Ce protocole porte sur 5 043 fins de tour réelles, avec un seuil de 0,5. Il ne comprend pas de cas négatifs : cette comparaison ne mesure donc pas, à elle seule, le risque de déclarer trop tôt que quelqu’un a terminé. Les autres jeux d’évaluation montrent des résultats variables selon les langues, les enregistrements et les réglages. Dissocier la voix, le texte et l’interprétation
Le rapport technique TTS-2 expose comment la synthèse sépare la voix de référence, le texte à prononcer et les consignes d’interprétation. Ces dernières peuvent combiner émotion, rythme, volume et style vocal. L’entraînement utilise aussi des paires entre langues pour réemployer une même voix de référence dans une autre langue.
La génération produit de l’audio à 48 kHz par fragments de taille fixe. Cette organisation réduit la dépendance aux pauses qui déterminaient les points de découpe dans TTS-1. La variante Flash, obtenue par réduction et distillation du modèle, privilégie une exécution plus légère, avec des compromis documentés sur l’exactitude du contenu, la ressemblance vocale et le contrôle de l’interprétation.
Ces travaux complètent des outils déjà publiés : le code d’entraînement de TTS-1 et le TTS Open Evaluation Toolkit, tous deux sous licence MIT. Le second relie les scores obtenus aux textes, transcriptions et fichiers audio évalués, afin de pouvoir examiner les exemples derrière les résultats.