Muse Voice Transcribe écoute avant de décider quand écrire

Muse Voice Transcribe réunit transcription en direct, séparation de plus de vingt interlocuteurs et détection de fin de parole dans un même modèle, facturé 0,18 dollar par heure.

Une conversation peut être retranscrite à mesure qu’elle se déroule, avec une indication du changement d’interlocuteur et du moment où chacun termine de parler. Muse Voice Transcribe rassemble ces trois opérations dans un même modèle afin d’éviter de les confier à plusieurs services successifs.

Cette nouveauté constitue le premier modèle de perception audio en temps réel développé par Meta Superintelligence Labs. Elle assure la reconnaissance automatique de la parole, la diarisation — qui consiste à distinguer les personnes qui parlent — et la détection du début comme de la fin de chaque intervention.

Cette dernière fonction ne sert pas uniquement à ponctuer une transcription. Dans un assistant vocal, elle détermine le moment où le système peut commencer à répondre. Une détection trop rapide interrompt l’utilisateur au milieu d’une hésitation, tandis qu’une attente trop longue donne l’impression que l’assistant ne réagit pas.

Muse Voice Transcribe appartient à la famille Muse Spark. Le flux sonore est découpé en segments de 80 millisecondes, soit 12,5 segments par seconde. Après chacun d’eux, le modèle choisit de continuer à écouter ou de commencer à produire le texte correspondant.

Le délai n’est pas identique pour tous les mots. Une expression courante peut être retranscrite rapidement, tandis qu’un nom, une formulation ambiguë ou un passage difficile peut bénéficier d’un contexte sonore plus long. Meta qualifie ce fonctionnement de « délai adaptatif ».

L’apprentissage combine une récompense liée au taux d’erreur avec une autre consacrée au temps d’attente. Le modèle doit donc chercher un compromis entre précision et réactivité, au lieu d’appliquer un délai fixe à l’ensemble d’une conversation.

La diarisation repose sur des marqueurs ajoutés directement au flux de transcription. Lorsqu’un changement de voix est détecté, le modèle ouvre un nouveau tour de parole et lui attribue une étiquette comme « Speaker A » ou « Speaker B ». Il distingue ainsi les intervenants, mais ne connaît pas nécessairement leur identité réelle. Une application doit encore associer ces étiquettes à des noms lorsque cette information est disponible.

Meta annonce la prise en charge de plus de vingt personnes dans une même conversation et de séquences sonores dépassant une heure, sans traitement complémentaire obligatoire. Une démonstration d’un peu plus d’une heure met en scène onze interlocuteurs, tandis qu’un second exemple montre huit personnes parlant dans la même pièce.

Le modèle a été entraîné avec plus de 70 langues. Meta en considère 25 comme suffisamment vérifiées pour le lancement, dont le français, l’anglais, le chinois, l’espagnol, l’hindi, le japonais et le vietnamien. La prise en charge annoncée pour les autres langues ne signifie donc pas qu’elles bénéficient toutes du même niveau de validation.

L’alternance de langues peut intervenir entre deux phrases, mais aussi au milieu d’une même intervention. Cette capacité vise les conversations bilingues dans lesquelles des termes anglais, des noms de produits ou des expressions professionnelles sont intégrés à une autre langue sans transition explicite.

Des indications peuvent également orienter la transcription vers une langue, une liste de mots ou un contexte précis. Ce biais contextuel doit notamment aider à reconnaître des noms de personnes, des lieux, des marques ou un vocabulaire propre à une entreprise. Son efficacité dépend toutefois des informations fournies par l’application et ne garantit pas la transcription correcte de tous les termes rares.

Sur le classement indépendant d’Artificial Analysis, Muse Voice Transcribe obtient un taux d’erreur de 3,1 % pour la transcription finale, avec un délai moyen de 0,16 seconde après la fin détectée de la parole. Un taux de 3,1 % correspond au nombre de substitutions, d’ajouts et d’omissions rapporté au texte de référence, après normalisation.

Cartesia Ink-2 atteint 3,4 % avec son système de détection sémantique, pour un délai de 0,43 seconde. ElevenLabs Scribe v2 Realtime obtient 3,6 % avec 0,14 seconde. Muse se montre donc plus précis dans cette évaluation, sans être systématiquement le plus rapide selon le mode de comparaison retenu.

Le protocole d’Artificial Analysis utilise environ huit heures de contenu provenant de trois ensembles : des échanges destinés aux agents vocaux, des interventions du Parlement européen et des conférences financières. Les résultats sont principalement représentatifs de l’anglais et ne permettent pas de confirmer des performances équivalentes dans les 25 langues validées par Meta.

Pour la séparation des voix, Meta publie un taux d’erreur moyen de 17,5 % sur AMI-IHM, AMI-SDM et VoxConverse. Les autres systèmes présents dans son graphique se situent entre 21,1 % et 28,6 %. Contrairement au classement consacré à la transcription, cette comparaison est présentée par Meta à partir de jeux de données publics et ne constitue pas une validation indépendante de toutes les conditions annoncées.

Le taux d’erreur de diarisation tient compte des prises de parole manquées, des détections inutiles et des segments attribués à la mauvaise personne. Un résultat de 17,5 % reste donc suffisamment élevé pour nécessiter une vérification dans les usages sensibles, notamment les procès-verbaux, les entretiens, les dossiers médicaux ou les échanges juridiques.

Les conversations réelles peuvent en outre comporter des voix simultanées, du bruit, des micros éloignés, des accents ou des changements de volume. Les démonstrations proposées par Meta donnent un aperçu du fonctionnement, mais ne remplacent pas des essais avec le matériel et les environnements sonores propres à chaque organisation.

Muse Voice Transcribe est disponible sous l’identifiant `muse-voice-transcribe-1.0` dans la Meta Model API. Les développeurs disposent d’une connexion WebSocket pour la transcription en direct et d’un endpoint distinct pour envoyer un fichier déjà enregistré.

Le prix affiché est de 3 dollars pour 1 000 minutes de contenu, soit 0,18