La parole et le travail en même temps dans Higgs Realtime Duplex
La préversion Higgs Realtime Duplex de Boson AI associe voix, vidéo et tâches en arrière-plan. Son API reste sur liste d’attente.
Dans une démonstration de réunion, Boson AI décrit un assistant qui expose une architecture, prend des questions au milieu d’une phrase et met à jour un schéma. Le travail se poursuit pendant l’échange, avec les images d’une caméra ou d’un écran partagé comme informations d’entrée. Le visage animé à l’écran accompagne une conversation pendant laquelle des tâches peuvent continuer à s’exécuter.
La préversion de recherche Higgs Realtime Duplex repose sur ce fonctionnement simultané : recevoir la parole et les images, produire une réponse, tout en utilisant des outils. L’accès par API est annoncé pour plus tard, avec une liste d’attente. Le service Higgs Realtime déjà proposé par l’entreprise reste une offre distincte de cette nouvelle préversion. Écouter pendant que les outils travaillent
L’interlocuteur direct de l’utilisateur est un modèle à mélange d’experts de 45 milliards de paramètres. Selon l’architecture décrite, il peut raisonner et lancer lui-même des appels à des outils, sans confier systématiquement ces opérations à un autre modèle. Pour les demandes plus difficiles, il délègue à un modèle plus volumineux, auquel il transmet le contexte partagé.
Les résultats reviennent pendant que l’échange se poursuit. Une recherche ou un calcul peuvent donc avancer tandis que l’utilisateur précise sa demande, voire aborde un autre sujet. Les outils peuvent aussi livrer des résultats partiels, à partir desquels l’assistant commence à répondre. La promesse porte sur la continuité de l’interaction pendant l’attente, sans raccourcir nécessairement la durée de la tâche déléguée.
Le « full duplex » désigne cette réception et cette émission simultanées. Les flux sont organisés en segments de 160 millisecondes : à chaque étape, le modèle lit les nouvelles entrées et prépare la sortie suivante. Cette durée décrit le découpage des flux, pas un délai garanti entre une question complète et sa réponse. Les silences font eux aussi partie des informations traitées. Choisir quand parler, et quand se taire
Les comportements présentés dépassent la réponse à une question terminée. Le modèle peut acquiescer brièvement, commencer à répondre avant la fin d’une phrase ou s’arrêter quand l’utilisateur reprend la parole. L’équipe affirme aussi qu’il distingue les propos qui lui sont adressés des conversations environnantes.
Une démonstration décrite dans l’annonce le place ainsi dans une voiture : il attend pendant que le conducteur passe commande auprès d’un employé, puis reprend son compte rendu. Cette séquence illustre le comportement recherché ; elle ne mesure pas sa fiabilité dans toutes les situations de bruit, de chevauchement de voix ou de conversation à plusieurs.
La voix et le visage sont rendus par deux composants de génération. Un court extrait audio sert de référence pour la voix, tandis qu’une image fixe définit le visage. D’après Boson AI, ces références sont fournies au déploiement, sans réentraînement. Le visage est ensuite généré au fil des échanges, en conservant un contexte visuel récent pour maintenir sa continuité. Des capacités entraînées ensemble, des résultats contrastés
Le développement part d’un modèle déjà préentraîné sur du texte. L’équipe poursuit son entraînement sur environ 2 000 milliards de tokens mêlant texte, audio et vidéo. Elle entraîne ensuite plusieurs modèles enseignants spécialisés dans différents aspects de l’interaction, puis transfère leurs capacités à un même modèle élève. Les simulations servent aussi à produire des données ciblées sur les erreurs observées.
Dans le comparatif publié, le score de 98,9 sur Big Bench Audio est le plus élevé du tableau. L’avantage ne se retrouve pas sur toutes les épreuves : sur Full-Duplex-Bench v1.5, la moyenne annoncée est de 75,5, contre 77,8 pour Interaction Small de Thinking Machines Lab et 80,1 pour GPT-Live-1.
Les valeurs concurrentes proviennent de rapports et de classements publics, dont l’équipe dit avoir reproduit plus de la moitié des résultats. Les configurations de raisonnement varient selon les entrées du tableau. Ces comparaisons publiées par Boson AI ne constituent donc pas une évaluation indépendante de la préversion. Compresser les flux pour prolonger les échanges
Un modèle qui traite continuellement la conversation accumule des informations même lorsque personne ne parle. Pour limiter ce volume, le système compresse les flux audio et visuels. L’entrée vidéo conserve notamment une image de caméra toutes les six tranches, soit environ une seconde. Les flux audio et visuels représenteraient ensemble quelque 2 600 tokens par minute.
Le budget total annoncé atteint plutôt 2 600 à 5 000 tokens par minute lorsque s’ajoutent le raisonnement, les appels d’outils et leurs résultats. Cette estimation suppose déjà une compression progressive des traces de travail ; elle ne correspond pas à un tarif communiqué pour l’API Duplex.
La gestion de l’historique conserve habituellement les cinq dernières minutes de flux audio et visuels avec le texte de travail condensé, soit environ 13 000 à 25 000 tokens selon l’activité. L’historique plus ancien reste conservé sous forme de texte, en supplément de cette fenêtre récente.