Fish Audio apprend aux agents vocaux à reconnaître le bon moment pour répondre

Fish Audio lance un modèle de transcription temps réel capable de détecter les interruptions, les hésitations et les tours de parole des agents vocaux.

Un utilisateur dit « oui » pendant que l'assistant parle. Faut-il interrompre la réponse, ou simplement comprendre qu'il écoute ? Cette distinction, évidente dans une conversation humaine, reste difficile à maîtriser pour les agents vocaux. Fish Audio présente Realtime STT, un nouveau modèle de transcription conçu pour reconnaître les mots, mais aussi interpréter la manière dont une conversation se déroule.

Disponible en version préliminaire sous l'identifiant `transcribe-stream-1`, le système combine reconnaissance vocale, détection des tours de parole et prise en compte du contexte conversationnel. L'entreprise revendique un taux d'erreur de transcription de 2,21 %, qui lui aurait permis de prendre la première place parmi 20 modèles sur le benchmark Cekura lors de son lancement. Une transcription qui cherche à comprendre quand l'utilisateur a terminé

Les systèmes classiques de reconnaissance vocale transforment une séquence audio en texte. Pour les assistants conversationnels, cela ne suffit pas toujours.

Une personne peut faire une pause pour réfléchir, acquiescer pendant que l'assistant parle ou être interrompue par un bruit extérieur. Si l'agent considère chaque silence comme une fin de phrase et chaque son comme une nouvelle intervention, l'échange devient rapidement artificiel.

Fish Audio intègre donc une fonction appelée Smart Turn Detection, chargée de reconnaître les moments où l'utilisateur prend réellement la parole ou termine son intervention.

Le modèle analyse ce qui est dit et la manière dont la parole évolue, plutôt que de se reposer uniquement sur une durée de silence prédéfinie.

Dans le fonctionnement documenté, un simple « mm-hm » prononcé pendant que l'assistant parle peut être reconnu comme un backchannel, c'est-à-dire un signal d'écoute ou d'approbation. L'agent peut alors poursuivre sa réponse.

À l'inverse, si l'utilisateur reprend véritablement la conversation, le système émet un signal permettant d'interrompre la parole synthétique et de lui laisser la place.

Cette distinction représente une amélioration potentielle de l'expérience des agents téléphoniques, notamment dans les situations où les deux interlocuteurs se coupent fréquemment la parole. Un résultat annoncé de 2,21 % d'erreur sur Cekura

Fish Audio annonce avoir obtenu 2,21 % de Word Error Rate, ou WER, sur le benchmark de reconnaissance vocale de Cekura.

Cet indicateur comptabilise les mots remplacés, oubliés ou ajoutés par un système de transcription. Plus le pourcentage est faible, plus la transcription se rapproche de la référence.

Le résultat communiqué par Fish Audio correspond à la première place parmi 20 modèles évalués au moment de son annonce.

Le benchmark Cekura compare les systèmes sur un ensemble comprenant 1 000 extraits audio publics et des enregistrements issus de conversations téléphoniques réelles. Il mesure également la vitesse d'apparition des premiers mots et le délai avant la transcription définitive.

La portée du classement doit néanmoins être précisée. Les résultats évoluent avec les versions et les modèles intégrés au benchmark. La consultation du classement ne permet pas de considérer la première place annoncée au lancement comme un rang permanent.

Le taux d'erreur de 2,21 % ne signifie pas non plus que le modèle retranscrira correctement 97,79 % de toutes les conversations, quelles que soient leur langue, leur qualité sonore ou les conditions d'enregistrement.

Les benchmarks de reconnaissance vocale et les évaluations de gestion des tours de parole mesurent des capacités différentes. Un excellent résultat de transcription ne garantit pas, à lui seul, que l'assistant saura toujours quand répondre. Une première transcription après environ une demi-seconde

La documentation de Fish Audio fournit plusieurs mesures de latence relevées sur son service de production avec de la parole synthétique.

Étape · Délai indicatif Premiers mots transcrits · 0,5 seconde après le début de la parole Détection de fin probable · 0,6 seconde après l'arrêt de la parole Transcription définitive · 1,1 seconde après l'arrêt de la parole

Le modèle propose une fonction appelée Eager End of Turn, qui permet de signaler qu'une intervention est probablement terminée avant la validation définitive de sa transcription.

L'application peut alors commencer à calculer sa réponse plus tôt. Si l'utilisateur reprend la parole, le système peut annuler cette conclusion provisoire.

Cette approche réduit potentiellement le temps d'attente entre deux interventions, mais introduit un compromis : répondre trop tôt risque d'interrompre quelqu'un qui n'avait pas terminé.

Les temps communiqués ne comprennent pas nécessairement la totalité des délais réseau, du raisonnement du modèle de langage ou de la génération de la réponse vocale. Reconnaître la voix de l'utilisateur au milieu du bruit

Un autre problème des agents vocaux concerne leur environnement sonore.

Une télévision allumée, une conversation en arrière-plan ou une autre personne présente dans la pièce peuvent déclencher une reconnaissance de parole alors que l'utilisateur principal n'a rien demandé.

Fish Audio introduit une détection des interventions qui ne proviennent probablement pas de l'utilisateur. Le système peut alors les signaler comme des événements secondaires, afin d'éviter que l'assistant leur réponde systématiquement.

La documentation recommande notamment de ne pas interrompre l'agent dès la première détection d'une activité vocale. Le signal initial peut correspondre à une conversation extérieure, à un simple acquiescement ou à un bruit.

L'application doit attendre une indication confirmant que l'utilisateur prend effectivement son tour de parole.

Cette séparation entre activité sonore et intention conversationnelle est particulièrement importante dans les voitures, les espaces partagés et les environnements téléphoniques bruyants. Une mémoire de conversation pour mieux reconnaître les noms

Realtime STT