Les Characters de Runway gagnent le tool calling en vidéo temps réel

Les Characters de Runway intègrent le tool calling en vidéo temps réel pour exécuter des actions et appeler des outils externes durant une conversation.

Les Characters de Runway, ses agents vidéo conversationnels, savent désormais appeler des outils externes pendant un appel. Jusqu'ici cantonnés à l'échange verbal, ces avatars peuvent déclencher des actions concrètes : naviguer sur un site, interroger une base, cliquer dans une interface, remplir un panier ou valider une commande, tout en poursuivant la discussion avec l'utilisateur.

La démonstration officielle met en scène Vivi, styliste virtuelle, en appel vidéo. À la demande de l'utilisateur, elle cherche dans une boutique en ligne, affiche des produits, navigue vers une veste en denim, l'ajoute au panier et finalise la commande, sans interrompre l'échange verbal.

Le mécanisme reprend le pattern de tool calling déjà répandu chez OpenAI ou Anthropic, transposé dans un flux vidéo continu. Le modèle analyse la requête, décide si un outil est nécessaire et renvoie un appel de fonction au format JSON (par exemple `checkorderstatus` accompagné d'un `orderid`). Le développeur exécute ensuite l'outil, qui peut être un Client tool (action dans le navigateur : overlay, clic, navigation) ou un Server tool (appel HTTP vers un backend). Le résultat est renvoyé au Character, qui poursuit la conversation en l'intégrant.

La documentation est publiée sur le portail développeur de Runway.