Avant d’agir, simuler les conséquences : le World Model PAN 2

Des actions décrites en texte deviennent des simulations vidéo avec PAN 2. Le World Model est diffusé avec ses poids et son code sous Apache 2.0.

À partir d’une observation, qui peut inclure une image, et d’actions décrites en texte, le World Model PAN 2 génère une vidéo allant jusqu’à vingt secondes. Développé par l’Institute of Foundation Models (IFM) de la Mohamed bin Zayed University of Artificial Intelligence (MBZUAI), il doit servir à explorer les conséquences d’une décision avant son exécution. Un agent pourrait comparer plusieurs scénarios simulés, réviser son plan et choisir l’action à entreprendre.

Les démonstrations portent sur le moment où un surfeur se lève, le comportement de liquides dans l’eau ou la persistance d’objets après un mouvement de caméra. Elles illustrent les propriétés recherchées par l’équipe : respecter l’ordre des événements, reproduire des interactions physiques et conserver l’état d’une scène lorsqu’elle sort du champ. La fidélité de ces simulations reste précisément l’objet des évaluations publiées. Le langage prépare l’état suivant, la diffusion le met en images

Dans le billet technique consacré à PAN 2, l’architecture Generative Latent Prediction (GLP) répartit le travail entre deux composantes. Un modèle de langage multimodal préentraîné décrit le prochain état du monde sous une forme structurée. Il précise les acteurs, les événements et leur chronologie, en séparant les mouvements de caméra des actions dans la scène.

Un modèle de diffusion latente de 29 milliards de paramètres, entraîné depuis zéro, produit ensuite les détails visuels et les mouvements que cette description laisse ouverts. Un décodeur transforme ses représentations internes en images. Les 29 milliards de paramètres désignent donc la composante perceptive, sans inclure l’ensemble des autres modèles mobilisés.

Le rôle du raisonnement textuel est testé en conservant la même composante de diffusion. Selon l’équipe, une simple reformulation structurée des instructions donne 27,8 % de plans entièrement reproduits, contre 34 % avec le raisonnement complet. Ce résultat interne mesure l’apport du modèle de langage dans cette configuration ; il ne démontre pas une compréhension générale des lois physiques. Le périmètre de la publication sous Apache 2.0

Les poids open weights et le code annoncés par le laboratoire sont distribués sous Apache 2.0 pour les éléments propres à PAN 2. Les composants tiers, dont l’encodeur de texte Qwen3.5-9B et le décodeur Wan 2.2, conservent leurs licences respectives. Le dépôt contient le préentraînement et l’ajustement supervisé, mais précise que l’apprentissage par récompense et la combinaison de versions qui produisent les poids finaux ne font pas partie du code d’entraînement publié.

L’exécution est documentée dans plusieurs environnements, dont Hugging Face Diffusers et vLLM-Omni. Dans ce dernier guide, un exemple annonce environ 119 secondes pour générer treize secondes de vidéo sur quatre GPU NVIDIA B300. Cette configuration produit une séquence calculée à l’avance, avec un coût matériel conséquent. Réussir des étapes ne garantit pas la cohérence d’un plan

L’étude interne comprend cent tâches du quotidien, déclinées avec et sans image initiale, avec trois à six étapes à simuler sur vingt secondes. Les résultats rapportés atteignent 75,1 % d’étapes accomplies, mais seulement 34 % de plans dont toutes les étapes sont exécutées. Pour MiniMax-H3, les valeurs sont respectivement de 75,1 % et 32,5 % dans le même tableau. Les vérifications utilisent des juges visuels et textuels automatisés, complétés par une estimation géométrique pour les mouvements de caméra.

La fiche du modèle précise que ces plans étaient conçus pour réussir : la fidélité de scénarios censés échouer n’est pas encore mesurée. Elle décrit aussi des raccourcis qui violent les contraintes physiques et une dérive de l’apparence au fil des séquences. Les actions exprimées en texte restent peu précises pour des gestes fins, comme la position de chaque doigt sur un objet.

Une expérience associe enfin un agent distinct, fondé sur Kimi K3, à une simulation de tube contenant une balle. L’un des bouchons est collé, information donnée au World Model mais cachée à l’agent. Après plusieurs tentatives, dont une simulation mal interprétée, l’agent essaie l’autre bouchon et récupère la balle au sixième essai. Chaque tentative repart de la même image initiale, tandis que l’agent conserve l’historique de ses plans et observations. L’entraînement d’agents à grande échelle à partir de tels épisodes reste présenté comme une étape suivante.