Odyssey publie PROWL

Odyssey publie PROWL, un cadre d'entraînement pour World Model testé sur MineRL qui corrige les défaillances visuelles et physiques via l'apprentissage.

Odyssey, spécialiste des World Model, publie PROWL (Prioritized Regret-Driven Optimization for World Model Learning), un cadre d'entraînement adversarial dans lequel un agent d'apprentissage par renforcement explore des environnements de jeu pour révéler les défaillances du world model qui l'accompagne. À chaque itération, les erreurs détectées (rupture de géométrie, incohérences visuelles, mauvais suivi des actions, dynamiques irréalistes) sont réinjectées sous forme de données d'entraînement, ce qui crée une boucle fermée entre la découverte de failles et l'amélioration du modèle.

Le système repose sur un buffer baptisé Prioritized Adversarial Trajectory (PAT), qui hiérarchise les trajectoires défaillantes en fonction de leur difficulté. Une fois qu'une faille est corrigée, le PAT la déclasse pour concentrer l'effort de calcul sur les cas non résolus, formant un curriculum qui se durcit à mesure que le world model progresse. L'agent est par ailleurs maintenu dans une zone d'exploration réaliste, afin d'éviter qu'il n'exploite le modèle via des actions hors distribution.

Le cadre a été éprouvé sur l'environnement de recherche MineRL, dérivé de Minecraft, avec un modèle initial entraîné par Diffusion Forcing sur un dataset humain. Les comparaisons avec la baseline montrent des progrès sur le suivi des actions, la stabilité des éléments d'interface ancrés en 3D, la cohérence temporelle des transitions de scène, la persistance des objets posés et la fidélité des phénomènes non rigides comme les chutes d'eau. PROWL parvient également à restituer des comportements émergents absents des données humaines initiales, à l'image de pivots à 180° et d'esquives découverts par l'agent.

Le papier est cosigné par Ahmet H. Güzel, Jenny Seidenschwarz, Benjamin Graham, Jonathan Sadeghi et Jeffrey Hawke, avec les contributions de Jack Parker-Holder et Ilia Bogunovic, de l'University College London.