Une voix convaincante ne suffit pas à réussir un appel

Plus de 50 modèles et des plateformes vocales sont comparés dans Cekura Bench, qui distingue qualité de conversation, fiabilité, rapidité et coût.

Entre des scénarios simulés et des interventions humaines enregistrées, les classements des agents vocaux changent. Dans Cekura Bench, Phonic v1 arrive en tête d’une épreuve de fiabilité sur des tâches prédéfinies. Sur les appels fondés sur des voix humaines enregistrées, la première place revient à Grok Voice 3.0. Ces résultats décrivent des aptitudes différentes, sous des conditions de test distinctes.

La nouvelle suite de benchmarks rassemble plus de 50 modèles, selon son annonce, et compare aussi des plateformes complètes. Elle couvre la transcription, la synthèse vocale et les systèmes capables de recevoir et de produire directement de la parole. Les tableaux séparent les erreurs, le temps de réponse, le coût et la capacité à mener une tâche à son terme. Réussir trois fois le même scénario

Pour l’épreuve de performance des agents, un appelant simulé soumet les systèmes aux mêmes 82 scénarios, chacun répété trois fois. Ils concernent la prise de rendez-vous et des demandes relatives à Medicare, le programme américain d’assurance santé. Le modèle change, mais l’agent de référence, ses consignes et ses outils restent communs. Une exécution réussit si le résultat attendu est obtenu et si les données enregistrées sont correctes.

Le score pass³ retient les scénarios réussis lors des trois exécutions. Les 90,2 % de Phonic v1 désignent donc une réussite répétée, et non la proportion de réponses agréables à écouter. Pour les plateformes complètes, un classement distinct place PolyAI à 87,8 % sur cette mesure. Les configurations de ces plateformes comprennent plusieurs composants : leur résultat ne se confond pas avec celui d’un modèle vocal isolé.

L’épreuve Real Human Calls utilise, elle, 70 appels fondés sur des enregistrements de personnes réelles, présentés trois fois à chaque modèle. Elle couvre la banque et la santé, principalement en anglais, avec des appels en espagnol et en hindi. Aucun échantillon français n’y figure. Les hésitations, les changements de langue et la gestion des tours de parole entrent dans l’évaluation.

Sur ce protocole, Grok Voice 3.0 arrive en tête du classement Elo et atteint 42,9 % de pass³, contre 31,4 % pour Phonic-1. La tâche entièrement accomplie constitue encore une autre mesure : elle atteint 34,8 % pour Grok Voice 3.0. Un appel peut ainsi dépasser le seuil de qualité fixé par le benchmark sans que toutes les étapes demandées soient terminées. Le meilleur transcripteur dépend aussi de l’enregistrement

Les résultats de reconnaissance vocale séparent des extraits publics et des conversations téléphoniques. Le taux d’erreur sur les mots, ou WER, compte les substitutions, les omissions et les ajouts par rapport à une transcription de référence. Plus il est bas, meilleur est le résultat sur le corpus considéré.

Sur les extraits Pipecat, Universal 3.6 Pro d’AssemblyAI obtient le taux le plus bas, à 1,77 %. Sur les enregistrements téléphoniques Ocular, Fish Audio Transcribe Stream 1 prend la tête avec 2,78 %. Ce dernier affiche aussi le meilleur résultat global publié, à 2,21 %, devant les 2,28 % de Nemotron 3.5 Transcribe.

Le site signale que plusieurs modèles restent dans la marge d’erreur des premiers. Le corpus téléphonique se limite aussi à huit enregistrements : une première place sur cet ensemble n’établit pas une supériorité sur toutes les conversations. Les millisecondes ne mesurent pas toutes la même attente

La comparaison des voix de synthèse porte sur 104 phrases d’agents. Pour Inworld TTS-2 Flash, les 46 ms annoncées correspondent au démarrage audio lorsque le texte est envoyé en entier. Cette mesure n’inclut pas le travail nécessaire pour comprendre une demande et rédiger la réponse d’un assistant.

Lorsque le texte arrive mot par mot, Gradium TTS commence à parler, en médiane, 64 ms avant la réception du dernier mot. La valeur négative vient du point de référence choisi : la restitution débute pendant que la phrase continue d’arriver.

Les 38 ms de Soniox STT-RT v5 désignent encore autre chose : le délai de finalisation du texte après la fin de la parole. Ce chiffre ne décrit ni l’apparition des premiers mots transcrits ni le temps de réponse d’un agent complet. Des résultats consultables, une indépendance à préciser

La déclaration de gouvernance indique que Cekura commercialise des outils de test et de surveillance pour les agents vocaux. Certains fournisseurs évalués peuvent être ses clients ou partenaires. L’entreprise conçoit et exécute elle-même les benchmarks.

Le code, les scénarios et des enregistrements sont publiés pour rendre les résultats vérifiables. La documentation précise toutefois que les consignes du juge chargé d’évaluer le résultat attendu et certaines grilles de notation ne sont pas encore publiques. Les scores correspondants ne peuvent donc pas être reproduits exactement à partir des seuls éléments diffusés.