Pika Labs ouvre Pika Experiments avec Generative UI, une interface pilotée à la voix

Pika Labs lance Pika Experiments et Generative UI, une interface en open source pilotée à la voix via l'API Realtime d'OpenAI pour créer du HTML en direct.

Pika Labs partage ses expérimentations avec Pika Experiments. Une série de prototypes bruts diffusés en open source, avec un premier projet baptisé Generative UI. Le principe : une interface pilotée à la voix dans laquelle un agent IA écoute la conversation en temps réel et compose à la volée l'affichage le plus adapté à chaque réponse, sans recourir à des gabarits prédéfinis.

Concrètement, le système génère un agencement HTML complet à chaque échange, qui peut prendre la forme d'une fiche produit, d'une grille d'images, d'une liste de logos, d'un lecteur vidéo ou encore d'un agenda. La démonstration suit un même fil : à partir d'une demande vocale autour d'un concept de produit, l'agent produit une fiche, plusieurs rendus, des propositions de logo, puis une vidéo publicitaire avec musique, avant de créer un événement dans Google Calendar.

Côté technique, la voix repose sur l'API Realtime d'OpenAI, tandis que les fonctions créatives passent par Pika MCP, une couche d'outils maison réunissant une soixantaine de fonctions, de la génération d'images et de vidéos à la synchronisation labiale ou à la musique. À chaque réponse, le modèle émet une description d'interface en JSON que le serveur convertit en HTML et CSS en direct. Une connexion à un compte Pika est requise, l'intégration à Google Workspace restant facultative.

Le projet est partagé sur GitHub sous forme de prototype local, à exécuter sur sa propre machine. Pika Labs le présente lui-même comme expérimental et inabouti.