Runway imagine un ordinateur où les fenêtres deviennent des simulations vidéo

Runway Labs expérimente avec Project Continuum un environnement informatique construit autour d’interfaces vidéo générées en temps réel. Portals, Visual Thinking, Responsive Video Interfaces et Interactive Worlds explorent quatre manières d’utiliser les Interface World Models au-delà d’une interface graphique classique.

Une interface qui génère ce qu’elle doit montrer

Une explication peut prendre la forme d’une simulation animée directement superposée à une page. Une vidéo peut changer de composition lorsqu’on redimensionne sa fenêtre. Un agent de code peut rendre visibles ses actions pendant qu’il travaille.

Project Continuum rassemble ces expérimentations dans une application de recherche développée par Runway Labs. Le projet s’articule autour des Interface World Models, dont Solaris, utilisés ici pour générer et modifier des interfaces vidéo en temps réel.

Quatre concepts composent cette première démonstration : Portals, Visual Thinking, Responsive Video Interfaces et Interactive Worlds. Des Portals générés pendant la navigation

Les Portals apparaissent comme des zones vidéo interactives générées à partir du contenu consulté. Ils peuvent représenter un concept, un lieu ou une simulation sans quitter la page en cours.

Runway leur donne volontairement des contours diffus afin de distinguer visuellement le contenu généré du reste de l’interface. Une fois déplacé dans la page, un Portal reste affiché à côté du contenu existant.

L’interface vidéo ne fonctionne pas comme une séquence fixe. Lorsqu’elle est redimensionnée, le modèle recompose la scène en tenant compte du nouvel espace disponible. Il est également possible de cliquer directement à l’intérieur pour agir sur la simulation en temps réel. Voir un agent de code travailler

Visual Thinking applique le même principe aux agents de programmation.

Au lieu de limiter leur activité à une succession de messages, le modèle vidéo représente visuellement les différentes étapes du travail et les appels aux outils pendant leur exécution.

Runway cherche ici à conserver une représentation visible d’un workflow autonome complexe pendant qu’il progresse. La démonstration reste toutefois une exploration de recherche et ne documente pas encore les modèles de code compatibles, les performances ou les modalités d’accès à cette interface. Une vidéo peut devenir un environnement interactif

Avec Interactive Worlds, un média existant sert de point de départ à une simulation temps réel. Une image ou une vidéo peut être étendue en environnement multimodal dans lequel une personne ou un agent interagit directement.

Les Responsive Video Interfaces explorent de leur côté des contenus génératifs capables de modifier leur composition selon la taille et l’organisation de l’interface, plutôt que de simplement adapter l’échelle d’une vidéo préexistante.

Ces deux concepts rapprochent l’interface graphique d’un environnement généré à la volée : son contenu visuel peut être recalculé en fonction de l’espace disponible ou des interactions de l’utilisateur. Une application de recherche, pas encore un nouvel OS

Malgré sa présentation comme une recherche autour d’un nouveau système d’exploitation, Project Continuum reste à ce stade une application expérimentale de Runway Labs.

Runway n’a communiqué ni calendrier de mise à disposition, ni configuration requise, ni tarification. La démonstration sert pour l’instant à exposer quatre pistes d’interaction construites autour de la génération vidéo temps réel et des Interface World Models.