Dessa, l’IA vocale de Block qui a appris à converser sans jamais lire de texte

Avec Dessa, Block expérimente un modèle vocal entraîné uniquement sur des conversations humaines, capable d'écouter et de parler simultanément.

Une intelligence artificielle peut-elle apprendre à parler en écoutant, sans jamais passer par l'écrit ? C'est l'expérience menée par Block, l'entreprise de Jack Dorsey, avec Dessa, un modèle vocal entraîné exclusivement à partir d'enregistrements de conversations humaines. Contrairement aux architectures qui transcrivent la parole en texte avant de produire une réponse, Dessa traite directement le son, écoute pendant qu'il parle et ajuste ses interventions au rythme de son interlocuteur. Ses démonstrations montrent une IA capable de rire au milieu d'une phrase, de compléter une pensée ou de modifier spontanément son intonation, sans s'appuyer sur un modèle de langage préentraîné. Apprendre le langage directement à partir de la parole

Les assistants vocaux reposent souvent sur une succession de composants spécialisés. Un système de reconnaissance convertit les paroles en texte, un modèle de langage élabore une réponse, puis un moteur de synthèse vocale la transforme en audio. D'autres architectures plus récentes traitent déjà le son de manière native, mais le texte conserve fréquemment une place importante dans leur entraînement.

L'équipe de Dessa a choisi une approche différente. Selon la présentation du projet par Block, le modèle a été entraîné depuis zéro sur des conversations enregistrées, sans corpus textuel ni modèle préentraîné. Il a donc dû apprendre les régularités du langage parlé à partir des signaux acoustiques eux-mêmes, en associant progressivement les sons, les mots, les échanges et les situations.

Cette méthode ne concerne pas uniquement la compréhension des phrases. La parole contient des informations qui disparaissent partiellement lors de leur transcription : hésitations, respirations, accentuation, sarcasme, rires ou variations émotionnelles. Une même suite de mots peut exprimer des intentions différentes selon la manière dont elle est prononcée. En travaillant directement sur le signal sonore, Dessa cherche à conserver ces éléments dans la compréhension comme dans la génération des réponses.

Block affirme que son modèle a acquis des connaissances linguistiques et factuelles à partir d'une quantité de mots plusieurs centaines de fois inférieure à celle mobilisée pour entraîner de grands modèles textuels. Cette comparaison reste difficile à apprécier sans connaître la durée du corpus audio, sa composition, la méthode de comptage ou les modèles servant de référence. Une conversation où l'IA écoute même lorsqu'elle parle

Dessa fonctionne en full-duplex, c'est-à-dire qu'il peut recevoir et produire de l'audio simultanément. Cette propriété permet d'éviter le découpage rigide des conversations dans lequel une personne doit terminer complètement son intervention avant que l'assistant commence à répondre.

Dans les enregistrements publiés par Block, le modèle intervient brièvement pendant que son interlocuteur parle, réagit à une plaisanterie, complète une phrase interrompue ou laisse passer une pause avant de reprendre. Il produit également des signaux d'écoute, parfois appelés backchannels, comparables aux petits acquiescements qui ponctuent les conversations humaines.

L'une des démonstrations montre Dessa rire au moment d'une remarque amusante, sans attendre la fin de la prise de parole. Dans une autre, il augmente le volume de sa voix lorsqu'on lui demande de parler plus fort. Un échange consacré à une surprise d'anniversaire illustre une réponse jouant sur le souffle, l'émotion et les variations d'intonation.

Block présente ces exemples comme des conversations enregistrées en direct, sans pilotage des réponses par une personne. Les sous-titres ont été ajoutés après l'enregistrement. Une séquence met également Dessa en conversation avec GPT-Live-1, le modèle vocal de ChatGPT, afin de montrer les interruptions et les réactions entre deux systèmes d'IA.

Ces démonstrations permettent d'observer le style conversationnel du modèle, mais elles ne constituent pas une évaluation comparative de sa fiabilité, de sa compréhension ou de sa capacité à maintenir une conversation longue. Un modèle entraîné sur un seul système NVIDIA

Dessa a été développé par une petite équipe de recherche au sein de Block, dirigée par Ragavan Thurairatnam. Le laboratoire rassemble notamment d'anciens membres de Dessa, une entreprise torontoise spécialisée dans l'apprentissage profond et la synthèse vocale. Il travaille directement sous la responsabilité de Jack Dorsey.

L'équipe indique avoir réalisé l'entraînement à l'aide d'un seul système NVIDIA GB200 NVL72. Il s'agit d'une infrastructure de calcul particulièrement puissante, intégrant de nombreux accélérateurs dans un même système, et non d'une simple carte graphique destinée au grand public.

Pour l'inférence, les besoins seraient nettement plus modestes. Block affirme que Dessa fonctionne localement sur un MacBook Pro équipé d'une puce M4 Max, ou d'un matériel plus performant, avec une génération audio plus rapide que le temps réel. Le modèle pourrait ainsi produire la parole à un rythme suffisant pour maintenir une conversation sans attendre systématiquement un traitement distant.

L'entreprise n'a cependant pas communiqué le nombre de paramètres, la taille du jeu d'entraînement, les mesures précises de latence ou les performances sur des benchmarks publics. Aucun rapport technique détaillé ne permet encore d'examiner indépendamment l'architecture ou de comparer les résultats à ceux d'autres modèles audio. La compréhension des émotions comme question de sécurité

Au-delà de la fluidité conversationnelle, l'équipe présente la perception des émotions comme l'une des motivations du projet. Un assistant qui ne reçoit qu'une transcription textuelle peut manquer des indices importants lorsqu'une personne exprime de la douleur, de la détresse ou de l'inquiétude par sa voix plutôt que par ses mots.

En conservant ces informations acoustiques, un modèle natif comme Dessa pourrait théoriquement adapter ses réponses à des situations que le texte seul décrit imparfaitement.