JST-2, le World Model de Viggle, génère une scène en une seconde

Pensé en 3D de bout en bout, JST-2 de Viggle génère une scène en une seconde et des personnages animables sans rigging, mais garde des règles pour les collisions.

Selon Viggle, de nombreux World Models apprennent la structure physique du monde de manière indirecte, à partir de l'apparence des images. Connue pour son application de mèmes animés, qui revendique plus de 50 millions d'utilisateurs, la start-up a pris le chemin inverse avec JST-2, qu'elle présente comme un World Model de fondation « physics-native ». Quatre années de travail, dont deux consacrées à une première version déjà centrée sur l'animation de personnages, aboutissent à une architecture entièrement bâtie en trois dimensions, du codage des données jusqu'à l'entraînement. Scènes, personnages et mouvements y sont générés dans un même monde 3D que l'on peut parcourir et agrandir. Le modèle est utilisable gratuitement dans le navigateur via l'application PINOC, dont l'offre gratuite donne 60 crédits non renouvelables sans usage commercial, et les développeurs y accèdent aussi par API, à 0,01 dollar le crédit. Des atomes persistants plutôt que des images

Le nom JST signifie Joint Space-and-Time. Le modèle décrit une scène comme un ensemble d'atomes persistants, chacun correspondant à un morceau de matière ou à une partie d'objet qui conserve son identité lorsqu'il se déplace ou se déforme. Chaque atome possède une position xyz explicite et des vecteurs appris qui décrivent ses attributs et sa dynamique, le tout encodé sous forme de Physics-Native Tokens. Un encodeur produit ces tokens à partir d'images réelles, un générateur les crée directement depuis des prompts multimodaux, et un décodeur les restitue en images ou en Gaussian splats 3D selon le point de vue et les mouvements ou forces appliqués. Une scène en une seconde, explorée sans recalcul

D'après le billet de lancement, une scène 3D sort en une seconde environ d'inférence sur un GPU NVIDIA B200, latence réseau exclue, pour un coût inférieur à un centime de dollar. L'architecture produit directement la représentation 3D, sans optimisation propre à chaque scène, là où Viggle mesure cinq à six minutes pour Marble, l'outil de World Labs, sans détailler les conditions de ce test. Une fois générée, la scène est décodée en Gaussian splats rendus localement dans le navigateur, et le modèle n'est sollicité que pour créer du contenu nouveau. Jusqu'à 64 vues servent de fenêtre de contexte spatial : chaque nouveau point de vue complète le monde en temps réel et enrichit le contexte de la vue suivante.

Le même mécanisme reconstruit des environnements complets à partir de quelques observations réelles, là où une reconstruction par nuage de points ne restitue qu'une géométrie grossière selon Viggle. L'entreprise y voit un moyen de bâtir des environnements de simulation pour robots à partir de lieux existants, avec des usages possibles dans la conduite autonome, la cartographie ou la construction. Des personnages animés sans rigging

À partir d'un texte ou d'une seule image, même recadrée ou partiellement masquée, le modèle génère un personnage 3D dont les tokens contiennent déjà la façon dont chaque partie se déforme en mouvement. Cette dynamique étant apprise sur des données, le personnage s'anime sans les étapes séparées de rigging et de skinning, qui consistent à lui poser un squelette puis à y lier sa surface. Les mouvements, générés depuis un texte ou reconstruits depuis une vidéo, s'appliquent directement à ces personnages sans retargeting et restent compatibles avec les squelettes 3D standards. Depuis une vidéo, le modèle déduit aussi le mouvement des parties du corps masquées ou hors champ.

Les comparaisons publiées proviennent d'évaluations humaines à l'aveugle, dont le score additionne le taux de victoires et la moitié des égalités, 50 % signifiant une préférence égale. En génération de personnages, le modèle obtient 58,4 % face à Meshy 7.1 et 73,2 % face à Tripo H3.1, avec ses meilleurs résultats sur les visages, et l'écart se creuse pour la facilité d'animation, à 73,8 % et 88,9 %. Pour le mouvement, il dépasse Cartwheel Swing (74,8 %) et HY-Motion-1.0 (80 %) depuis un texte, puis DeepMotion Animate 3D (89,1 %) depuis une vidéo. Face à Cartwheel Comic 4, le score tombe à 58,1 %, avec 53,1 % d'égalités, et la page de benchmark consacrée au mouvement reconnaît que ce concurrent reste devant sur les vidéos de sport rapides et que les pieds peuvent encore glisser lors des appuis. Ni le nombre d'évaluateurs ni celui des échantillons ne sont précisés. Une physique encore à base de règles pour les objets

Le qualificatif « physics-native » a pour l'instant une portée limitée. Dans JST-2, la dynamique apprise anime les personnages, mais les collisions de la scène et les interactions entre objets passent toujours par une physique à base de règles. Le futur JST-3, en développement, doit remplacer ces règles par une dynamique apprise capable de prédire comment les objets interagissent et transforment le monde. L'entreprise vise un « moteur d'expérience » pour l'IA physique, où des agents apprendraient en agissant dans des mondes simulés et en observant les conséquences de leurs actes.