Une interface entière se génère en temps réel avec Solaris

Avec Solaris, Runway expérimente un Interface World Model capable de produire une interface visuelle en temps réel, image après image, selon les actions et les instructions de l’utilisateur.

Une application qui ne repose plus sur une succession d’écrans préparés à l’avance, mais se transforme pendant son utilisation. C’est le principe de Solaris, le premier Interface World Model présenté par Runway. Chaque clic, glissement, texte ou commande vocale conditionne la suite de l’interface, générée en continu sous la forme d’une scène interactive.

Runway décrit Solaris comme une nouvelle forme de système d’exploitation. L’expression ne désigne toutefois pas un remplacement complet de Windows, macOS ou Android. Il s’agit pour l’instant d’un prototype de recherche chargé de produire la partie visuelle et interactive d’une application sans construire préalablement ses écrans à partir de composants codés.

Dans une interface traditionnelle, les boutons, menus, formulaires et comportements sont définis par les développeurs. Solaris part plutôt d’un état initial, comme une image, un produit ou un environnement de marque, puis génère ce qui doit apparaître à l’écran. L’image entière devient l’interface.

Une boutique virtuelle pourrait ainsi laisser l’utilisateur saisir un vêtement pour le déposer sur sa propre représentation, déplacer les produits ou réorganiser le magasin. Dans un autre exemple, des ingrédients peuvent être placés dans un saladier. Une démonstration pédagogique peut montrer une combustion, tandis qu’un tableau peut devenir un espace dans lequel l’utilisateur dessine en reprenant son style.

Les interactions ne sont pas nécessairement définies une par une. Leur signification dépend de la scène et de la demande formulée. Cliquer sur un chat pourrait modifier son pelage, tandis que le même geste appliqué à un objet scientifique déclencherait une explication ou une transformation. Plusieurs comportements peuvent donc être produits à partir d’un même environnement sans avoir été intégrés à une liste fixe de fonctions.

Le système sépare le raisonnement et l’affichage. Un modèle de langage interprète la demande, décide des changements à apporter et rédige les instructions qui guideront la scène. Solaris se charge ensuite de produire le rendu visuel correspondant. Cette organisation permet de modifier le modèle chargé de comprendre les intentions sans nécessairement remplacer celui qui génère l’interface.

Solaris s’appuie sur les recherches menées autour de Gen-4.5 et de GWM-1. Runway explique avoir adapté son système vidéo pour comprendre les actions de l’utilisateur et y répondre avec une latence suffisamment faible pour donner une impression d’interaction directe. Le flux vise une définition de 720p.

La génération fonctionne de manière autorégressive : les nouvelles images dépendent de celles qui les précèdent et des actions réalisées entre-temps. Pour accélérer le traitement, Runway a réduit un processus qui nécessitait initialement de nombreuses étapes de débruitage à un nombre beaucoup plus limité. Le modèle a également été entraîné sur ses propres résultats afin de mieux conserver la stabilité pendant des sessions prolongées. Ces choix techniques sont présentés dans la publication officielle consacrée à Solaris.

Cette méthode doit également rendre l’interface moins statique. Des reflets, des objets ou des éléments du décor peuvent continuer à évoluer même lorsque l’utilisateur ne clique pas. L’application se rapproche ainsi d’un environnement simulé plutôt que d’une collection de pages reliées par des transitions.

Runway envisage aussi Solaris comme un environnement d’entraînement pour les agents capables d’utiliser un ordinateur. Ces systèmes apprennent généralement à naviguer dans des logiciels existants, dont les interfaces et la structure restent relativement prévisibles. Un Interface World Model pourrait au contraire leur présenter des situations variables ou entièrement nouvelles et mesurer leur capacité d’adaptation.

L’entreprise accompagne cette présentation de deux évaluations. La première porte sur la reconstruction d’une interface à partir d’une capture d’écran. Des modèles multimodaux, dont GPT-4o, Gemini 2.5 Pro et Claude Fable 5, devaient produire une version codée de trente interfaces présentant différents niveaux de complexité visuelle.

Les résultats ont été comparés à l’aide de mesures de similarité structurelle et de conservation des caractéristiques visuelles. Selon Runway, la fidélité des versions codées diminue à mesure que les scènes deviennent plus complexes. Cette expérience évalue toutefois la capacité à reproduire une image sous la forme d’une page codée. Elle ne mesure pas l’ensemble des fonctions, de la sécurité ou de la maintenabilité d’une application.

La seconde évaluation oppose Solaris à une interface produite par Claude Opus 5 à partir de la même image et de la même demande. Runway indique avoir recueilli près de 7 500 comparaisons auprès de 250 participants sur trente exemples. Solaris a été préféré dans 61 % des réponses pour le respect de l’instruction, contre 24 % pour l’interface codée. Pour le naturel du comportement, les proportions atteignent respectivement 71 % et 21 %.

Ces résultats proviennent d’une étude conçue et publiée par Runway. Ils ne constituent pas une évaluation indépendante et ne démontrent pas que Solaris surpasse les modèles de langage pour la création complète d’un logiciel. La comparaison porte sur des interactions visuelles sélectionnées, et non sur des critères comme l’exactitude des données, la persistance des informations, la compatibilité avec des services externes ou la résistance aux erreurs.

Plusieurs limites restent reconnues par l’entreprise. Le texte stable et lisible demeure difficile à produire dans une scène générée en continu. Runway envisage donc des systèmes hybrides associant des éléments conventionnels à des zones génératives, notamment lorsque des informations précises doivent rester affichées.

La confiance constitue une autre difficulté. Une interface visuellement convaincante peut présenter une information erronée ou produire une action différente de celle demandée. Runway souhaite ancrer davantage les