Traduire pendant que l'autre parle, Tencent réduit le décalage à trois secondes

Tencent ouvre Hy-SimulMT, un modèle de traduction simultanée chinois-anglais avec clonage vocal et environ trois secondes de décalage mesuré.

Trois secondes de décalage pour traduire un discours en cours, sans attendre que la personne ait terminé sa phrase. C'est la performance annoncée par Tencent Hunyuan pour Hy-SimulMT, son modèle de traduction simultanée entre le chinois et l'anglais, dont les poids viennent d'être rendus publics. Le système traite un flux audio continu, produit une traduction au fil de la parole et peut restituer le résultat à l'oral en conservant certaines caractéristiques de la voix d'origine.

Destiné aux réunions, conférences et entretiens, Hy-SimulMT dispose de plusieurs variantes accessibles sur Hugging Face. Tencent publie également les outils nécessaires à son déploiement et à la poursuite de son entraînement, avec une série de comparaisons face à des solutions concurrentes et à des interprètes professionnels. Traduire avant de connaître la fin de la phrase

La traduction simultanée impose un problème particulier aux modèles d'intelligence artificielle. Pour interpréter correctement une phrase, il est souvent préférable d'en connaître la structure complète. Pourtant, attendre cette information augmente le délai entre la parole originale et sa traduction.

Cette difficulté est particulièrement sensible lorsque les deux langues organisent différemment leurs phrases. Un système doit parfois commencer à restituer un propos avant de disposer de tous les éléments nécessaires à sa compréhension.

Hy-SimulMT répond à cette contrainte en analysant progressivement l'audio entrant. Il génère la traduction pendant que le locuteur poursuit son intervention, sans imposer un découpage systématique en phrases terminées.

Le modèle est conçu pour la traduction bidirectionnelle, du chinois vers l'anglais et de l'anglais vers le chinois. Sa famille de checkpoints comprend notamment Hy-SimulMT-30B-A3B, une architecture à mélange d'experts comportant environ 30 milliards de paramètres, dont 3 milliards sont activés par token. Trois secondes de décalage sur les discours longs

Sur le benchmark RealSI, consacré notamment à l'évaluation de la traduction simultanée sur des enregistrements longs, Tencent rapporte un décalage d'environ trois secondes. Il s'agit du résultat le plus faible parmi les systèmes présentés dans sa comparaison.

La mesure repose sur le StreamLAAL, un indicateur qui quantifie le retard accumulé entre le discours d'origine et sa traduction dans un flux continu. Il ne faut donc pas le confondre avec le délai précédant la toute première sortie audio, ni avec une garantie de réponse systématique en trois secondes.

La qualité de traduction est évaluée séparément au moyen du score GEMBA. Selon les résultats communiqués par Tencent, Hy-SimulMT dépasse les modèles ouverts comparés ainsi que quatre des cinq API commerciales incluses dans ce test.

Le compromis entre rapidité et fidélité constitue l'élément central de cette évaluation. Traduire plus tôt réduit l'attente, mais peut également obliger le système à reformuler ou à corriger une traduction lorsque de nouvelles informations arrivent. Des résultats qui varient selon les jeux de données

Tencent a également testé son modèle sur quatre benchmarks de traduction de segments audio plus courts : FLEURS, CoVoST2, ACL6060 et RealSI-Sentence.

Hy-SimulMT obtient 90,3 sur FLEURS, 75,5 sur CoVoST2, 81,2 sur ACL6060 et 84,7 sur RealSI-Sentence. Sur ce dernier jeu de données, il affiche le score le plus élevé parmi tous les systèmes du tableau, devant Qwen3.8-LiveTranslate à 84,4.

Les résultats sont moins uniformes ailleurs. Sur FLEURS, Gemini3.5-LiveTranslate atteint 92,4, contre 90,3 pour Tencent. Sur CoVoST2, Qwen3.8-LiveTranslate obtient 82,1, devant Hy-SimulMT à 75,5.

Ces chiffres montrent que Hy-SimulMT ne domine pas l'ensemble des évaluations. Ils proviennent également du protocole de comparaison publié par Tencent et ne permettent pas, seuls, de garantir des performances identiques dans toutes les conditions réelles d'utilisation. Une comparaison avec six interprètes professionnels

Pour compléter les évaluations automatiques, les chercheurs ont constitué un ensemble de 18 enregistrements audio, d'environ six minutes chacun, couvrant dix domaines, dont la médecine, le droit, les sciences, l'éducation, l'industrie et la culture.

Six interprètes professionnels ont participé à cette comparaison. Trois possédaient une certification chinoise CATTI de niveau 1 et trois une certification de niveau 2. Pour chaque niveau, Tencent a retenu le meilleur résultat parmi les trois participants.

Le laboratoire indique avoir obtenu une qualité de traduction comparable à celle des interprètes évalués, avec un délai souvent inférieur.

La portée de l'expérience reste limitée par la taille de l'échantillon, le choix des enregistrements et le nombre de personnes participantes. Tencent précise lui-même que cette comparaison ne constitue pas une évaluation complète de la qualité vocale, de la ressemblance des voix ou de l'ensemble des situations d'interprétation professionnelle. Conserver la voix de la personne traduite

Au-delà de la traduction textuelle, Hy-SimulMT prend en charge un dispositif de clonage vocal en temps réel. L'objectif est de conserver des caractéristiques reconnaissables de la voix d'origine lorsque le discours est restitué dans l'autre langue.

Les démonstrations publiées comprennent notamment une séquence anglais-chinois mettant en scène trois locuteurs, dont les voix restent différenciables dans le résultat généré.

Cette fonction dépend toutefois d'un service de synthèse vocale supplémentaire. Le dépôt de Hy-SimulMT fournit le modèle de traduction et les outils d'inférence, mais la restitution vocale avec clonage exige de configurer séparément un moteur TTS compatible.

Les vidéos de démonstration sont des relectures enregistrées. Leur durée et leur rythme de lecture ne constituent donc pas une mesure directe de la latence d'une conversation en direct. Un modèle ouvert, avec ses outils de déploiement

Tencent distribue plusieurs déclinaisons de Hy-SimulMT, notamment des versions BF16, FP8