Sonic 3.6 prend la tête d’un classement fondé sur des votes humains

Datapoint publie un jeu de 315 000 préférences humaines comparant 15 modèles de synthèse vocale sur 300 scripts de service client, avec les extraits audio, les votes individuels et le protocole du classement Elo.

Une voix peut prononcer correctement chaque mot tout en échouant à rassurer une personne, à énoncer un numéro de commande ou à reconnaître une erreur. Pour comparer les modèles sur ces situations, Datapoint a demandé à des évaluateurs d’écouter deux versions du même texte puis de choisir celle qu’ils préféraient.

L’entreprise publie désormais le résultat sous la forme d’un jeu de données hébergé sur Hugging Face. Il rassemble 315 000 décisions humaines, 4 500 fichiers audio et 300 textes en anglais conçus pour des interactions de service client.

Datapoint présente cette publication comme le plus grand jeu ouvert de préférences humaines consacré à la synthèse vocale. Cette revendication reste difficile à établir indépendamment, faute d’un inventaire exhaustif des bases publiques comparables. Son ampleur est néanmoins inhabituelle pour une évaluation fournissant à la fois les extraits, les confrontations et les réponses individuelles retenues.

Le protocole oppose 15 modèles selon un tournoi complet. Chaque système est comparé aux 14 autres, soit 105 confrontations possibles. Ces 105 paires sont évaluées sur les mêmes 300 textes, ce qui produit 31 500 cellules de comparaison.

Dix réponses valides sont conservées pour chaque cellule. La multiplication de 31 500 confrontations par dix aboutit aux 315 000 votes publiés. Ce nombre ne désigne donc ni 315 000 personnes différentes ni 315 000 fichiers sonores.

Chaque modèle a produit une version de chacun des 300 textes, pour un total de 4 500 extraits. Ils sont stockés une seule fois en FLAC mono, en 24 bits et à 48 kHz, puis associés aux différentes confrontations par un identifiant. Cette organisation évite de dupliquer le même fichier chaque fois qu’il est comparé à un concurrent.

Les évaluateurs écoutaient deux extraits sans connaître le nom des modèles et devaient sélectionner la livraison qu’ils préféraient. Datapoint indique avoir équilibré la position des candidats afin qu’un modèle ne soit pas systématiquement présenté en premier ou en second.

La consigne ne cherche pas uniquement la fidélité littérale. Chaque texte contient des informations sur la personnalité attendue, le rythme et les critères de livraison. Le choix peut ainsi intégrer la clarté, la prosodie, l’émotion, la gestion des pauses et l’adaptation à la situation.

Les 300 textes sont répartis entre huit catégories. Quarante-cinq portent sur l’empathie et la désescalade, autant sur les noms et épellations, et 45 autres sur les lectures transactionnelles. Quarante concernent les instructions et le dépannage.

Les réparations de phrase et hésitations représentent 35 textes. Les salutations de marque, les annonces de politique et les situations de planification ou d’escalade en comptent 30 chacune.

Cette sélection vise principalement les agents vocaux utilisés par des entreprises. Elle comprend des remboursements, des prises de rendez-vous, des divulgations obligatoires, des adresses, des références de dossier et des conversations avec des personnes mécontentes.

Le résultat ne constitue donc pas un classement universel de la synthèse vocale. Un modèle apprécié pour annoncer calmement une exposition de données peut se comporter différemment dans un livre audio, un jeu vidéo, une publicité, un doublage ou une conversation improvisée.

La langue réduit encore le périmètre. Tous les textes sont en anglais. Le benchmark ne mesure ni la prononciation française, ni le changement de langue au milieu d’une phrase, ni la conservation d’une voix entre plusieurs langues.

Datapoint a initialement recueilli 357 651 réponses. L’entreprise en a écarté 41 873 considérées comme invalides par son mécanisme de confiance, puis retiré 778 réponses dépassant la limite prévue pour certaines confrontations. Il reste ainsi exactement 315 000 décisions utilisées dans le classement du 1er septembre 2026.

Chaque réponse publiée contient le choix effectué, le temps nécessaire, le pays déclaré lors de l’évaluation et un score de confiance enregistré au moment de la participation. Les identifiants d’origine ne sont pas fournis. Ils sont remplacés par une empreinte pseudonyme propre à cette exportation.

Ce mécanisme permet d’étudier la régularité d’une même personne sans révéler directement son compte. Datapoint interdit toutefois de tenter de retrouver l’identité des participants en combinant les empreintes, les horaires et les pays.

Le score de confiance accompagne chaque vote, mais il n’est pas utilisé comme coefficient dans le classement officiel. Les réponses invalidées sont retirées, puis toutes celles qui restent comptent de la même manière. Des totaux pondérés sont fournis séparément pour vérifier si la hiérarchie change lorsqu’une importance différente est accordée aux évaluateurs.

La documentation ne détaille pas entièrement la construction de ce score, les seuils ayant entraîné l’exclusion ou le nombre de personnes distinctes ayant participé. Elle ne fournit pas non plus une ventilation démographique complète. Les 9 millions d’annotateurs « accessibles » annoncés par Datapoint décrivent la portée potentielle de sa plateforme, pas la population mobilisée pour ce test.

Le classement n’applique pas directement la méthode Elo comme une succession de parties dont l’ordre modifierait progressivement les scores. Datapoint ajuste d’abord un modèle statistique Bradley–Terry sur l’ensemble des choix valides, puis convertit les forces obtenues sur une échelle Elo.

Chaque catégorie possède son propre calcul. Le classement général combine ensuite les huit résultats avec un poids identique. Une catégorie comprenant 30 textes compte donc autant dans le score final qu’une autre en comprenant 45.

Ce choix empêche les catégories les plus volumineuses de dominer automatiquement le résultat, mais il traduit aussi une décision éditoriale. Un service utilisant principalement des lectures transactionnelles pourrait préférer accorder davantage de poids à cette catégorie plutôt que de suivre le classement général.

Datapoint utilise des