Une interface qui se génère pendant son utilisation : la piste de Runway Labs

Le prototype Diffusion-UI combine données structurées, état conservé et contrôles générés pour composer des interfaces interactives en temps réel.

Déplacer ou redimensionner un cadre pour modifier une scène : c’est l’une des manipulations décrites par Runway Labs pour présenter Diffusion-UI. Cette application de recherche explore un logiciel dont le rendu est produit par un modèle en temps réel, à mesure que l’utilisateur interagit. L’équipe annonce pouvoir y associer des données structurées, conserver un état et générer des éléments de commande.

La proposition porte sur l’usage continu d’une interface générée. Les informations fournies au système, la composition visuelle et les gestes de l’utilisateur contribuent à ce qui apparaît à l’écran. Le projet reste présenté comme une exploration, sans annonce d’accès public dans les messages diffusés. Des données pour guider le rendu

L’un des points mis en avant concerne l’intégration d’informations extérieures. Des objets JSON peuvent transmettre au modèle des données issues d’une API. Les exemples cités comprennent un itinéraire cartographique précis et des informations météo en direct, que le système doit restituer dans une interface dynamique.

Cette alimentation donne au rendu une base explicite : le modèle reçoit des valeurs ou des indications particulières à représenter. La conservation de l’état fait également partie des capacités annoncées. Le fil ne détaille cependant ni la manière dont cet état est stocké ni les mécanismes de contrôle de la fidélité aux données. Une composition par couches, des commandes à repérer

Le travail de création combine plusieurs couches : les sources de données, des références de mise en page, un style et des instructions textuelles. Une demande écrite peut servir à transformer une scène, ajouter des objets ou modifier son contenu pendant l’utilisation. Le déplacement et le redimensionnement d’un cadre fournissent un autre moyen d’agir sur sa composition.

L’identification des commandes fait aussi partie de l’expérience décrite. Au passage du pointeur, des contours blancs signalent les boutons, curseurs et autres éléments interactifs à proximité. Ce repérage visuel indique où l’utilisateur peut agir dans un affichage lui-même généré.

Les usages évoqués dépassent les panneaux d’information : l’équipe cite également des interfaces 3D complexes et des scènes de jeu immersives. D’autres prototypes et outils doivent être présentés prochainement, sans échéance précisée.