Cloner une voix et retoucher une réplique en local avec ZONOS3-Mini

Le modèle de synthèse vocale ZONOS3-Mini clone une voix à partir d’un extrait et ajuste la diction au mot près. Il s’exécute en local dans un navigateur.

Pour remplacer un mot dans une réplique déjà enregistrée, le studio vocal de Zyphra commence par repérer où il est prononcé. Une fois la transcription corrigée, ZONOS3-Mini régénère le passage concerné et le raccorde au reste de la prise. Dans le navigateur, l’outil s’appuie sur une transcription fournie par l’utilisateur ou déjà associée à l’extrait.

L’édition après enregistrement s’ajoute à la synthèse vocale à partir d’un texte. Le modèle peut reprendre la voix d’un extrait de référence et lui faire lire une autre réplique. Les réglages d’âge apparent, d’accent et de texture vocale servent aussi à composer une voix de personnage à partir d’une voix de base. Du ton d’une phrase à l’accent sur un mot

Dans les démonstrations de Zyphra, une même phrase est déclinée en trois versions. La première garde un ton neutre. Les deux autres font chuchoter le début ou la fin de la phrase. Le modèle suit sa position dans le texte à mesure qu’il génère l’audio, ce qui lui permet d’appliquer la consigne au passage sélectionné.

D’autres réglages portent sur l’ensemble de la réplique, comme le débit, l’émotion ou la projection de la voix. Leur effet peut se combiner. Accélérer le débit peut aussi modifier la hauteur ou le volume, précise Zyphra. Le studio permet ainsi de préparer plusieurs prises à partir du même texte, puis de reprendre un passage précis dans celle qui a été retenue. Le premier son en moins d’une seconde sur le téléphone testé

Deux changements allègent le calcul. Le modèle compte 800 millions de paramètres et en mobilise environ 100 millions à chaque étape. Son codec représente une seconde de parole avec 150 jetons audio, contre 774 auparavant selon Zyphra. Le modèle a donc moins d’unités à produire avant que le décodeur les transforme en son.

Dans son billet technique, Zyphra annonce un délai avant le premier son inférieur à 570 millisecondes sur un smartphone Google de la série 9 et à 150 millisecondes sur un MacBook Air M3. L’entreprise indique que les deux appareils génèrent la parole en temps réel. Le studio en ligne effectue le calcul sur l’appareil via WebGPU. La documentation du moteur Web indique environ 1 Go à télécharger pour le premier chargement de base, avec des fichiers supplémentaires selon les fonctions utilisées. Un classement qui agrège 420 mesures et conditions de test

Dans ZTTS2-Eval, le banc d’essai conçu par Zyphra, ZONOS3-Mini arrive en tête des modèles à poids ouverts testés, devant Fish S2 Pro et MOSS TTS v1.5. Le score agrège 420 combinaisons de mesures, de langues et de jeux de test. L’évaluation couvre 35 langues pour la parole lue et 20 pour des enregistrements recueillis en conditions réelles. Elle examine entre autres l’intelligibilité, la ressemblance avec la voix de référence et le rythme de la parole.

Les poids du modèle sont disponibles sur Hugging Face sous licence Apache 2.0. Le code d’exécution publié sur GitHub est sous licence MIT. Il comprend le moteur Web et des versions natives pour faire tourner le modèle sur sa propre machine.