Quand un assistant vocal s'écoute parler, la reconnaissance vocale perd le fil

La version STT v6 de Soniox distingue la voix de l'assistant de celle de l'utilisateur et exploite le contexte des échanges dans plus de 60 langues.

Un assistant vocal qui répond à sa propre question, interrompt sa phrase parce qu'il entend sa voix dans le microphone ou comprend mal une réponse aussi simple que « le deuxième ». Ces dysfonctionnements restent fréquents dans les interfaces conversationnelles, particulièrement lorsque le haut-parleur et le microphone fonctionnent simultanément. Pour les réduire, Soniox STT v6 introduit une méthode de reconnaissance vocale qui tient compte non seulement de ce que dit l'utilisateur, mais aussi des paroles prononcées par l'assistant.

La nouveauté repose sur deux fonctions complémentaires, Agent text input et Agent voice echo cancellation. La première transmet au moteur de transcription le texte que l'assistant est en train de prononcer. La seconde exploite cette information pour distinguer les paroles de l'utilisateur de celles qui reviennent dans le microphone. Présentées dans le billet technique consacré à STT v6, elles sont destinées aux agents conversationnels capables d'écouter pendant qu'ils parlent, sans confondre une véritable interruption avec leur propre voix. Comprendre une réponse à partir de la question posée

Les moteurs de reconnaissance vocale reçoivent habituellement le son capté par le microphone, sans nécessairement connaître les propos que vient de tenir l'assistant. Cette séparation prive le système d'une information pourtant essentielle à la compréhension de certaines réponses courtes.

Lorsqu'un agent propose deux destinations, deux horaires ou plusieurs produits, une réponse de quelques mots prend son sens dans la question précédente. Sans ce contexte, un nom propre peut être confondu avec une expression phonétiquement proche. Le problème devient particulièrement sensible avec les nombres, les termes techniques ou les noms de lieux.

La fonction Agent text input transmet le texte de l'assistant au moteur de reconnaissance, au fur et à mesure de sa restitution vocale. Les paroles de l'utilisateur et celles de l'agent sont ainsi prises en compte dans un même contexte conversationnel, même si seules les premières apparaissent dans la transcription finale.

Cette intégration exige une synchronisation précise. La documentation recommande d'envoyer les fragments de texte environ 500 millisecondes à une seconde avant leur lecture effective, plutôt que dès leur génération par le modèle de langage. En cas d'interruption, la transmission doit s'arrêter au dernier passage réellement prononcé. Le contexte reste ainsi cohérent avec ce que l'utilisateur a effectivement entendu. Éliminer l'écho sans empêcher les interruptions

Le deuxième problème concerne le retour acoustique. Lorsqu'un assistant parle sur un ordinateur portable, dans une voiture ou par l'intermédiaire d'un haut-parleur, une partie de sa voix peut être recaptée par le microphone. Le système de transcription risque alors de l'interpréter comme une nouvelle intervention de l'utilisateur, déclenchant une réponse ou interrompant prématurément la synthèse vocale.

La fonction Agent voice echo cancellation utilise le texte transmis par l'assistant pour reconnaître les éléments de sa propre voix présents dans le signal audio. Elle cherche à les exclure de la transcription tout en continuant d'identifier les paroles de l'utilisateur, y compris lorsque celui-ci intervient avant la fin d'une réponse.

Cette technique complète les mécanismes traditionnels d'annulation acoustique de l'écho, sans les remplacer. La documentation de Soniox recommande explicitement de conserver ces traitements audio, la nouvelle fonction intervenant sur les résidus qui leur échappent.

L'objectif est de rendre les échanges simultanés moins fragiles. Un utilisateur peut interrompre une confirmation ou corriger une information sans que l'assistant interprète ses propres paroles comme une nouvelle commande. Le fournisseur revendique une réduction des interruptions erronées et des demandes de clarification, mais ne publie pas, dans son annonce, de mesures comparatives détaillées permettant de quantifier ces améliorations. Dictée, réunions et traduction dans plus de 60 langues

Les changements ne concernent pas uniquement les assistants vocaux. La sixième génération du modèle apporte aussi des modifications à la dictée, à la transcription de réunions et à la traduction vocale en temps réel, avec une prise en charge de plus de 60 langues.

Pour la dictée, le travail porte particulièrement sur la reconnaissance des montants, unités, dates, identifiants alphanumériques, noms propres et vocabulaires spécialisés. Ces éléments sont souvent difficiles à restituer fidèlement, surtout lorsque les informations sont dictées rapidement ou dans un environnement bruyant. Les développeurs peuvent fournir des noms de produits, des termes professionnels ou d'autres éléments contextuels afin d'améliorer leur transcription.

La séparation des locuteurs, appelée speaker diarization, bénéficie également d'un entraînement intégrant des réunions avec interruptions, changements rapides d'intervenants, chevauchements de voix et conditions d'enregistrement variées. Les améliorations annoncées concernent aussi l'identification des langues et la détection de la fin d'une intervention, deux fonctions importantes pour éviter qu'un assistant réponde trop tôt ou attribue une phrase au mauvais participant.

En traduction, le moteur ajuste dynamiquement la quantité de parole recueillie avant de produire le texte traduit. Cette gestion du contexte vise notamment les langues dont la structure grammaticale exige parfois d'attendre la fin d'une proposition pour en restituer correctement le sens. Les conversations multilingues, y compris celles qui changent de langue au milieu d'une phrase, sont également prises en charge sans devoir sélectionner un modèle distinct pour chaque langue.

L'ensemble de ces fonctions est annoncé dans une architecture vocale unifiée, mais les performances revendiquées restent celles du fournisseur. Aucun protocole comparatif complet avec des résultats chiffrés par langue ou par usage