Jusqu’à 20 humains et agents partagent le même World Model avec Agora-2

Agora-2 fait évoluer le World Model multi-agent d’Odyssey vers des environnements partagés pouvant réunir jusqu’à 20 humains et agents en temps réel. Chaque action modifie un état commun à partir duquel le modèle génère ensuite le point de vue propre à chaque participant.

Un même environnement pour 20 participants

Un World Model interactif génère généralement l’expérience d’un utilisateur à partir de ses propres actions. Avec Agora-2, Odyssey cherche à maintenir plusieurs participants dans une seule simulation, chacun pouvant modifier ce que les autres vont ensuite observer.

Le système prend en charge jusqu’à 20 humains et agents, soit cinq fois plus qu’Agora-1 selon Odyssey. La preview multijoueur actuellement accessible propose une configuration allant jusqu’à quatre humains confrontés à seize agents.

Pour expérimenter cette architecture, Odyssey s’est appuyé sur des captures de Diablo II associant observations, actions et états. Le World Model apprend ainsi les déplacements et interactions entre plusieurs entités sans faire tourner le moteur original du jeu pendant la simulation. Un état partagé plutôt qu’une succession d’images

Agora-2 sépare la simulation de l’affichage individuel. Un premier modèle prédit comment les actions combinées des participants modifient l’état commun en tenant compte de leurs propriétés, de leurs actions récentes et de leur position dans l’environnement.

Un serveur rassemble ensuite ces prédictions afin de maintenir cet état partagé. Une entité qui quitte le champ de vision continue ainsi d’exister dans la représentation interne et n’a pas besoin d’être reconstruite uniquement à partir de l’historique visuel lorsqu’elle réapparaît.

Chaque participant reçoit ensuite sa propre vue de la simulation. Le modèle de rendu utilise l’état commun, les entités concernées et l’historique visuel récent pour générer en temps réel une perspective différente pour chaque humain ou agent. Des agents entraînés à poursuivre et coopérer

Les agents présents dans Agora-2 sont entraînés par reinforcement learning à poursuivre des adversaires, contourner des obstacles et retrouver leur chemin lorsqu’ils se retrouvent bloqués ou séparés.

Ils n’accèdent pas à une représentation complète de l’environnement. Leurs décisions reposent sur une observation partielle et sur leurs observations récentes, ce qui les oblige à suivre les autres participants et à adapter leur comportement pendant la simulation.

Odyssey relie cette recherche à PROWL, son travail sur des agents capables d’explorer des environnements simulés et de produire, par leurs interactions et leurs échecs, de nouvelles données pouvant ensuite servir à améliorer le World Model. Faire apprendre ensemble les agents et leur environnement

La suite envisagée consiste à intégrer cette architecture multi-agent à des World Models plus généraux comme Odyssey-3. Le laboratoire veut dépasser les environnements appris à partir d’un jeu précis pour représenter des entités, actions et relations qui n’étaient pas présentes dans les données initiales.

Odyssey cite la robotique, les véhicules autonomes, la cybersécurité, l’entraînement de systèmes d’IA ou encore le jeu vidéo parmi les domaines potentiels. Il s’agit à ce stade de pistes de recherche avancées par l’entreprise, et non d’applications démontrées par Agora-2.

La preview d’Agora-2 permet actuellement de tester directement l’environnement multijoueur, tandis qu’Odyssey publie séparément son rapport technique consacré à l’architecture et au système de simulation.