Fish Audio lance Drama 3, une IA vocale capable de changer d'émotion au milieu d'une phrase

Fish Audio lance Drama 3, son nouveau modèle vocal open-weight capable de contrôler les émotions, les intonations et la prononciation de chaque mot dans 83 langues.

Une voix qui se brise au milieu d'une phrase, un rire impossible à retenir, une colère exprimée entre les dents. Avec Drama 3, Fish Audio veut donner aux créateurs la possibilité de diriger une interprétation vocale avec la précision d'un réalisateur. Son nouveau modèle de synthèse vocale ne se contente plus de lire un texte : il permet de travailler les émotions, les respirations et les changements d'intonation, jusqu'à un mot isolé. Diriger une voix comme un acteur

Drama 3 s'appuie sur des instructions en langage naturel, placées directement dans le script entre crochets. Il suffit de préciser qu'un personnage retient ses larmes, murmure ou éclate de rire pour orienter son interprétation. Les consignes peuvent changer au milieu d'une réplique, sans modifier la voix du personnage.

Le modèle prend également en charge des balises qui permettent d'accentuer certains mots ou de modifier leur prononciation. Une approche particulièrement intéressante pour les livres audio, les fictions sonores, l'animation et les jeux vidéo, où une même réplique peut passer d'une émotion à une autre en quelques secondes.

Drama 3 fonctionne dans 83 langues, et les instructions n'ont pas besoin d'être rédigées dans la langue du dialogue. Un créateur francophone peut ainsi diriger une réplique anglaise avec des indications écrites en français. Une meilleure maîtrise des émotions sans sacrifier les mots

Cette expressivité s'accompagne d'un travail sur la précision de lecture. Drama 3 atteint 93,2 % de prononciations correctes, contre 73,2 % pour S2.1 Pro, dans le benchmark de robustesse de prononciation d'Artificial Analysis. Ce test indépendant porte sur des difficultés propres à l'anglais, notamment les chiffres, les abréviations, les noms et les séquences techniques.

Fish Audio a également modifié sa méthode d'entraînement. Plutôt que de privilégier uniquement la fidélité à une voix de référence ou la facilité de transcription, le modèle est affiné à partir de préférences humaines sur les interprétations produites. Un rire demandé dans le script ne doit plus être pénalisé simplement parce qu'il perturbe la lecture conventionnelle du texte. Un modèle de 35 milliards de paramètres aux poids ouverts

Drama 3 utilise une architecture Mixture-of-Experts (MoE) de 35 milliards de paramètres, dont environ 3 milliards sont mobilisés à chaque étape de génération.

Fish Audio publie également les poids du modèle, permettant une exécution sur sa propre infrastructure. Cette ouverture s'accompagne toutefois d'une licence spécifique : l'usage commercial est gratuit pour les structures dont le chiffre d'affaires annuel, affiliés compris, reste inférieur à 500 000 dollars. Au-delà, ou pour exploiter le modèle comme service tiers, une licence supplémentaire est nécessaire. Modifier un mot sans refaire toute la réplique

Fish Audio prépare deux autres fonctionnalités, encore accessibles uniquement dans le cadre de tests restreints. La première permettra de demander une nouvelle interprétation à partir d'une prise existante, par exemple en rendant une phrase plus douce ou plus ironique.

La seconde, fondée sur la retouche audio ciblée (inpainting), permettra de remplacer un mot dans un enregistrement tout en conservant le reste de la réplique, son rythme et son intention.

Drama 3 est déjà disponible sur Fish Audio, dans les applications mobiles et via l'API. Une réduction de 80 % sur l'API est proposée jusqu'au 12 novembre, ainsi qu'une remise de 50 % sur les nouveaux abonnements créateurs.

Avec ce modèle, Fish Audio s'intéresse à une dimension encore délicate pour la synthèse vocale : la direction d'acteur. Pour les professionnels de l'audio, l'enjeu ne se limite plus à produire une voix crédible, mais à pouvoir reprendre une intention, corriger une interprétation et conserver les prises réussies, comme dans un véritable travail de studio.