Sparrow-2 écoute les pauses avant de décider de répondre

Le nouveau modèle de Tavus analyse la voix, les pauses, les interruptions et les bruits ambiants pour décider quand écouter, parler ou demander de répéter.

Une pause ne signifie pas toujours que la parole est libre. Elle peut correspondre à une respiration, une hésitation ou simplement au temps nécessaire pour organiser sa pensée. Avec Sparrow-2, Tavus cherche à éviter que ses agents conversationnels répondent trop tôt, restent silencieux trop longtemps ou prennent un bruit environnant pour une intervention.

La plupart des systèmes vocaux reposent sur une succession d’étapes : ils isolent une voix, la transcrivent, détectent un silence, puis tentent de déterminer si la personne a terminé sa phrase. Cette organisation fonctionne dans un environnement calme, mais perd une partie des informations présentes dans une conversation réelle.

Un « mhm » peut encourager l’interlocuteur à poursuivre sans constituer une interruption. Une voix entendue à proximité ne s’adresse pas forcément au système. Un silence de plusieurs secondes peut marquer une réflexion plutôt que la fin d’une réponse. En filtrant ces signaux avant de les interpréter, un agent risque de perdre le contexte qui lui permettrait de réagir correctement.

Sparrow-2 conserve au contraire l’ensemble de la scène sonore. Le modèle analyse en continu les mots employés, le sens de la phrase, le rythme, l’intonation, l’identité du locuteur, les interventions brèves, les interruptions et les bruits présents dans la pièce. Il tient également compte du fait que l’agent est lui-même en train de parler.

À partir de ces éléments, Sparrow-2 doit choisir entre plusieurs comportements : continuer d’écouter, patienter, commencer à répondre, poursuivre sa propre phrase ou reconnaître que le message n’était pas suffisamment clair. Dans ce dernier cas, l’agent peut demander à la personne de répéter plutôt que de construire une réponse sur une transcription incertaine.

Tavus présente cette approche comme une réponse au « cocktail party problem », la difficulté à suivre une conversation au milieu d’autres voix et sons. L’entreprise vise ainsi des usages dans les commerces, voitures, cafés, bureaux partagés, établissements de santé ou bornes installées dans des lieux fréquentés.

Le modèle travaille directement à partir d’un flux audio et actualise son estimation de la conversation toutes les 10 millisecondes, soit jusqu’à 100 fois par seconde. Tavus indique qu’il traite 80 millisecondes d’audio en environ 7 millisecondes, contre près de 30 pour Sparrow-1. Cette réduction laisse davantage de temps aux autres composants de l’agent pour préparer et restituer leur réponse.

Sparrow-2 peut patienter pendant une hésitation de six à huit secondes lorsqu’il estime que la personne n’a pas terminé sa pensée. Les systèmes précédents testés par Tavus intervenaient généralement après une ou deux secondes. Le modèle doit également distinguer les petites marques d’écoute, comme « oui » ou « mhm », d’une véritable tentative pour reprendre la parole.

Pour l’entraîner, Tavus a utilisé 16 000 conversations réelles et 2 000 conversations synthétiques incluant explicitement des interruptions, des hésitations et des interventions brèves. Le système repose sur un encodeur audio développé par l’entreprise et sur un modèle causal composé de six couches. Aucun minuteur fondé uniquement sur la durée du silence ne détermine le moment de la réponse.

Tavus communique un taux d’échec conversationnel de 2,1 %. Cette mesure repose sur 575 événements annotés provenant de 95 appels vidéo utilisés en production : 95 fins de prise de parole et 480 pauses situées au milieu d’une intervention. Une erreur correspond soit à une interruption pendant une pause, soit à l’absence de réponse après la fin d’une intervention.

D’après les résultats publiés par l’entreprise, la meilleure solution concurrente testée enregistrait près de quatre fois plus d’erreurs. Lorsque les pauses dépassaient une seconde, Sparrow-2 en laissait passer 97 % sans interrompre la personne, tandis que Smart Turn et LiveKit v1-mini intervenaient environ une fois sur deux.

Sur un autre ensemble de 96 conversations entre humains, Sparrow-2 aurait répondu à toutes les interventions terminées. Smart Turn en aurait ignoré 12,5 % et LiveKit v1-mini 18 %. Pour les réponses effectivement déclenchées, les trois solutions obtenaient une latence médiane identique de 680 millisecondes.

Ces comparaisons doivent toutefois être replacées dans leur cadre. Tavus précise avoir testé LiveKit v1-mini, un modèle fonctionnant localement, et non la solution de gestion des tours de parole la plus avancée de LiveKit. L’entreprise souhaitait disposer d’une configuration comparable, mais reconnaît que les chiffres ne représentent pas l’ensemble des performances de son concurrent.

Les évaluations publiées portent par ailleurs uniquement sur la gestion du tour de parole. Elles ne démontrent pas encore de manière chiffrée la capacité de Sparrow-2 à comprendre une pièce bruyante, à identifier correctement une voix distante ou à fonctionner dans tous les contextes cités par Tavus. Les résultats ont également été produits par l’entreprise qui développe le modèle et n’ont pas fait l’objet d’une validation indépendante.

Sparrow-2 est désormais déployé dans les PALs, les agents conversationnels audiovisuels de Tavus, ainsi que dans ses API et sa plateforme. Une démonstration publique permet de tester son comportement face aux pauses, interruptions et bruits de fond.

Le changement proposé paraît discret, mais concerne l’un des défauts les plus visibles des assistants vocaux : obliger les humains à modifier leur manière de parler. Sparrow-2 tente de renverser cette contrainte en demandant au système de suivre le rythme d’une conversation imparfaite, plutôt qu’à l’utilisateur de parler comme s’il dictait une commande.