Une IA pour tenir la conversation, une autre pour chercher sur le Web

Conçu pour un personnage virtuel, Shizuku-Duplex dialogue en japonais et peut poursuivre l’échange pendant qu’un second modèle cherche une information.

Deux personnes préparent un séjour à Kyoto avec un budget de 100 000 yens. Dans l’exemple publié par Shizuku AI, le personnage réagit à l’idée de goûter des pâtisseries au matcha, puis annonce qu’il va chercher des options. La recherche prend 7,1 secondes. Pendant ce temps, le modèle vocal reste à l’écoute et peut continuer à répondre. Lorsqu’il reçoit le résultat, il reprend le fil en expliquant que l’hébergement devrait constituer la principale dépense pour trois nuits.

Deux modèles se partagent le travail. Le premier suit la conversation. S’il lui manque une information, il envoie une demande au second, qui dispose d’outils comme la recherche web. La recherche prend toujours du temps, mais l’interlocuteur peut préciser sa demande pendant qu’elle s’exécute. Shizuku AI reprend ici une séparation entre conversation et travail en arrière-plan décrite par Thinking Machines Lab. Écouter, parler et savoir quand s’arrêter

Le modèle reçoit le son par tranches de 80 millisecondes et décide à chaque étape s’il doit parler ou garder le silence. Il prépare sa phrase sous forme de texte légèrement en avance sur la voix, tout en continuant à recevoir le son du micro. C’est le principe du full-duplex. Un « mhm » peut se glisser pendant que l’autre personne parle. Si elle reprend la parole au milieu d’une réponse, le modèle peut s’arrêter. Le même système produit aussi des instructions de mouvement pour l’avatar Live2D.

Le dialogue vocal dans les deux sens avait déjà été démontré en japonais avec J-Moshi, présenté à Interspeech en 2025. Pour son personnage, Shizuku AI traite aussi la durée de l’échange. Environ toutes les cinq minutes, le système remplace les passages anciens par un résumé et conserve les derniers échanges tels quels. La conversation peut ainsi se poursuivre avec un historique plus court. Les détails anciens restent accessibles au modèle dans la mesure où le résumé les a conservés. Les interruptions restent difficiles à interpréter

Dans l’évaluation interne menée en japonais, Shizuku-Duplex s’arrête dans les deux secondes dans 89 % des cas où l’utilisateur lui coupe la parole, contre 82 % pour GPT-Live-1. Il répond aussi à une voix en arrière-plan dans 75 % des cas. Laisser la place à quelqu’un qui veut reprendre la parole et reconnaître qu’une voix s’adresse à une autre personne sont deux difficultés distinctes.

Les 80 millisecondes correspondent au rythme de traitement du modèle. Dans le même essai, le délai médian entre la fin d’une phrase et le début de la réponse atteint 0,57 seconde, contre 0,53 pour GPT-Live-1, hors délai réseau dans les deux cas. Sur les questions qui se poursuivent sur plusieurs échanges, Shizuku-Duplex obtient 79 % de bonnes réponses contre 95 % pour le modèle d’OpenAI. Ce dernier test porte sur ce que le personnage répond, indépendamment du moment où il prend la parole.