Les IA vocales parlent mieux qu'elles n'écoutent, d'après le benchmark de Hume

Le benchmark Real World VoiceEQ de Hume évalue quarante modèles vocaux. Les limites de la compréhension orale face aux bruits de fond et aux accents.

Hume propose un nouveau banc d'essai pour les voix de l'IA, Real World VoiceEQ, qui note plus de 40 modèles propriétaires et open source sur quatre terrains : reconnaissance vocale (ASR), synthèse vocale (TTS), speech-to-speech et compréhension du langage parlé. L'ensemble est bâti sur plus de 700 000 évaluations humaines couvrant divers accents, âges, styles d'élocution, émotions et environnements sonores, et se décline en classements distincts par catégorie.

Le premier constat de l'entreprise : il n'y a pas de « meilleur » modèle vocal unique, le domaine se spécialise. Certains excellent en parole expressive, d'autres en précision, d'autres encore saisissent l'émotion mais peinent à répondre naturellement. Surtout, les modèles parlent mieux qu'ils n'écoutent : beaucoup raisonnent encore à partir de la transcription plutôt que des indices vocaux comme le ton, le rythme, l'hésitation ou l'accentuation. Un « ouais » assuré et un « …ouais » hésitant n'appellent pas la même réponse face à une alerte à la fraude ou à un conseil de santé.

Autre point soulevé : les benchmarks classiques surestiment les performances réelles, les modèles brillant en conditions propres avant de trébucher sur les voix accentuées, le bruit, les locuteurs qui se chevauchent et les longues conversations. Le speech-to-speech reste l'un des fronts les moins matures, la compréhension et la réponse demeurant deux capacités séparées. Hume en tire un plaidoyer pour l'évaluation humaine, qu'elle juge irremplaçable, et pour une couche de mesure mêlant benchmarks publics, évaluations privées et suivi en production. Le tout tourne sur Kairos, sa plateforme d'évaluation dédiée à la voix.