ElevenLabs réunit conversation, raisonnement et synthèse vocale avec Eleven Realtime

ElevenLabs présente Eleven Realtime, deux modèles de conversation vocale capables de répondre en moins de 620 ms, avec raisonnement et appels d'outils.

Un agent vocal peut répondre rapidement sans nécessairement comprendre une demande complexe. À l'inverse, les modèles capables de mener un raisonnement élaboré introduisent souvent un délai qui perturbe le rythme de la conversation. Avec Eleven Realtime, présenté le 20 octobre 2026, ElevenLabs cherche à réunir ces deux qualités dans une nouvelle famille de modèles Speech-to-Speech. Deux versions sont proposées : Mini, destinée aux échanges naturels à moindre coût, et Max, conçue pour les tâches qui nécessitent du raisonnement et l'utilisation d'outils. Selon les évaluations publiées par Artificial Analysis et reprises par ElevenLabs, Max obtient 98,8 % de bonnes réponses à des questions de raisonnement oral tout en commençant à parler en 0,57 seconde en moyenne. Un modèle vocal plutôt qu'une succession de composants

Concevoir un agent capable de tenir une conversation orale implique habituellement d'assembler plusieurs technologies. La parole doit être reconnue, le système doit déterminer quand son interlocuteur a terminé, un modèle de langage doit préparer la réponse, puis un générateur vocal doit la restituer. Chacune de ces opérations introduit ses propres délais et nécessite des réglages pour éviter que l'agent ne coupe la parole ou ne réagisse trop tard.

ElevenLabs propose de simplifier cette architecture avec une famille de modèles optimisés de bout en bout pour la conversation. Eleven Realtime associe directement la compréhension de l'audio, le traitement des demandes et la production de réponses vocales, avec une attention particulière au rythme des échanges. L'entreprise ne présente donc pas simplement une nouvelle voix de synthèse, mais un système capable de conduire une interaction et, selon le modèle choisi, de déclencher des outils externes.

Les deux variantes prennent en charge plus de 90 langues et peuvent utiliser les plus de 17 000 voix du catalogue ElevenLabs. Cette compatibilité permet de conserver une identité vocale choisie tout en adaptant les capacités du modèle aux contraintes de l'application. Les détails de tarification propres aux deux nouvelles variantes ne sont toutefois pas précisés dans l'annonce de lancement. Mini privilégie la fluidité, Max les tâches complexes

Eleven Realtime v1 Mini cible les assistants personnels, les tuteurs pédagogiques et les personnages interactifs. Son optimisation concerne notamment la gestion des tours de parole : reconnaître qu'une personne a réellement terminé sa phrase, accepter une interruption et poursuivre l'échange sans réagir systématiquement à de simples signes d'écoute comme « mm-hmm ». Ces comportements, parfois secondaires dans les tests classiques de modèles de langage, deviennent essentiels lorsque l'interaction repose uniquement sur la voix.

Eleven Realtime v1 Max vise davantage les usages où l'agent doit comprendre une demande comportant plusieurs étapes, consulter une information ou accomplir une action. ElevenLabs cite notamment les services clients et la qualification commerciale. L'agent peut formuler des appels d'outils pour interroger des services externes ou faire avancer une procédure, plutôt que de se limiter à fournir une réponse orale.

Ce découpage correspond à deux formes d'efficacité différentes. Mini privilégie le déroulement naturel de la conversation et un coût annoncé comme inférieur, tandis que Max cherche à préserver davantage de capacités de raisonnement et d'exécution. Les deux modèles peuvent participer à des échanges vocaux, mais leurs résultats divergent sensiblement dès que les tâches demandent des décisions ou des interactions avec des applications. 98,8 % de réussite sur les questions de raisonnement oral

Pour comparer les modèles, ElevenLabs s'appuie sur trois évaluations publiques réalisées par Artificial Analysis. La première, Big Bench Audio, soumet 1 000 questions de raisonnement par la voix et vérifie les réponses prononcées. Max obtient 98,8 % de réponses correctes, contre 75,9 % pour Mini. Cette différence de près de 23 points illustre l'écart entre les capacités visées par les deux variantes.

Les mesures de latence sont particulièrement rapprochées. Sur le même protocole, Max commence à produire sa réponse vocale au bout de 0,57 seconde en moyenne, contre 0,62 seconde pour Mini. Selon ElevenLabs, aucun autre modèle présent dans le classement évalué n'associe une meilleure précision à une latence inférieure à celle de Max. Cette position sur la frontière de Pareto décrit un compromis entre deux mesures particulières, et non une supériorité sur tous les aspects de la conversation.

Le délai jusqu'au premier son ne correspond pas à la durée nécessaire pour terminer une réponse ni au temps complet d'une opération impliquant des services externes. Les résultats mesurent un environnement de test précis ; ils ne garantissent donc pas que chaque appel téléphonique ou interaction sur un site web recevra une réponse en moins de 600 millisecondes. Les interruptions et les appels d'outils changent le classement

La deuxième évaluation, Full-Duplex-Bench, examine la gestion des conversations plutôt que la seule exactitude des réponses. Elle inclut notamment les pauses, les interruptions, l'alternance entre les interlocuteurs et les petits signaux vocaux qui indiquent qu'une personne écoute sans nécessairement vouloir prendre la parole. Sur ce protocole, Mini atteint 95,8 %, légèrement devant Max à 94,1 %. Le modèle le plus performant en raisonnement n'est donc pas celui qui obtient le meilleur score sur les mécanismes conversationnels.

La troisième évaluation, Speech Agent Arena, repose sur des conversations en direct comparées à l'aveugle par des participants humains. Max obtient un score de 998, contre 988 pour Mini. Ces scores de préférence doivent être distingués des pourcentages de réussite : ils reflètent un classement issu de comparaisons, et non une proportion de conversations jugées satisfaisantes.

L'écart redevient nettement favorable à Max lorsqu'il faut utiliser des outils. Dans les tâches