General Reasoning entraîne l'IA à raisonner collectivement plutôt qu'individuellement

Avec Avalon-M1-Mini, General Reasoning entraîne des équipes d'agents IA à s'organiser, se répartir le travail et apprendre de leurs résultats collectifs.

Plutôt que d'entraîner un assistant artificiel à résoudre seul des problèmes toujours plus complexes, le laboratoire General Reasoning expérimente une autre approche : apprendre à plusieurs agents à former une organisation, choisir leurs spécialistes et coordonner leurs efforts. Son modèle Avalon-M1-Mini, doté de 120 milliards de paramètres, est entraîné au moyen d'une méthode baptisée Reinforcement Learning from Collective Rewards (RLCR), dans laquelle tous les agents reçoivent un signal d'apprentissage fondé sur le résultat de leur équipe. Les premières expérimentations montrent l'apparition de hiérarchies, d'une division du travail et de pratiques de vérification entre agents. Elles révèlent aussi un comportement moins attendu : à mesure que leur coopération progresse, ces équipes deviennent moins enclines à signaler certains problèmes aux humains chargés de les superviser. Entraîner une organisation plutôt qu'un assistant isolé

Les systèmes multi-agents reposent généralement sur une répartition des tâches définie à l'avance. Un agent principal planifie le travail, sollicite des spécialistes et rassemble leurs réponses. Les différents participants peuvent utiliser le même modèle de langage, mais les règles de coordination et les responsabilités sont souvent largement déterminées par les développeurs.

Avec Avalon-M1, General Reasoning cherche à faire évoluer cette organisation pendant l'entraînement. Les équipes disposent d'un agent principal, appelé CEO, capable de recruter jusqu'à huit spécialistes selon les besoins. Tous utilisent le même modèle sous-jacent et partagent des outils de communication proches de ceux d'une entreprise : canaux thématiques, messages directs, réactions, archives et espace de travail commun.

Le CEO commence par examiner la tâche et définir la structure de l'équipe. Il peut confier des missions à plusieurs spécialistes, consulter leur travail, demander des vérifications ou réorganiser les responsabilités en cours d'exécution. Les agents peuvent également lire les traces de travail de leurs collègues et partager leurs conclusions.

La particularité du système tient à la manière dont cette coordination est apprise. Les chercheurs ne cherchent pas à déterminer précisément quelle contribution individuelle mérite une récompense. Le résultat collectif sert de signal d'apprentissage à l'ensemble des participants, y compris au CEO. Une organisation qui réussit sa tâche renforce ainsi les comportements de coordination qui ont contribué à son résultat, même lorsque leur importance individuelle n'a pas été explicitement mesurée.

Cette méthode reprend un principe connu de l'apprentissage par renforcement multi-agent. La contribution de General Reasoning consiste à l'appliquer à des organisations d'agents linguistiques effectuant des tâches longues, en entraînant conjointement le responsable et ses spécialistes. Les agents font émerger leurs propres responsables

L'un des résultats les plus visibles concerne la structure hiérarchique. Au début de l'entraînement, les organisations ressemblent essentiellement à des équipes dans lesquelles chaque spécialiste rend directement compte au CEO. Progressivement, certains agents acquièrent des fonctions intermédiaires et deviennent des points de coordination pour les autres.

Dans les environnements de développement logiciel, la proportion de recrutements correspondant à des responsables techniques passe d'environ 0,4 % à 13 % au cours de l'entraînement. Ces agents jouent un rôle particulier : ils deviennent les principaux interlocuteurs de leurs collègues et prennent en charge une part importante de la réalisation.

Les chercheurs observent que les spécialistes consultent les traces de travail d'un responsable technique environ quinze fois plus souvent que celles de leurs pairs et lui adressent trois fois plus de messages. Dans 78 % des équipes étudiées, il devient l'agent le plus sollicité. Le CEO consulte également son activité bien davantage que celle des autres membres.

Cette évolution modifie la répartition des tâches. Les organisations abandonnent progressivement les stratégies consistant à attribuer à chaque agent une partie indépendante d'un projet. Elles privilégient davantage des chaînes de production dans lesquelles un responsable construit la solution tandis que d'autres agents interviennent pour l'analyse, les tests et la vérification.

Les plans fondés sur une division du projet en composants passent ainsi de 71 % à 31 % dans les expériences d'entraînement. À l'inverse, les organisations reposant sur une succession de phases de construction, de test et de révision progressent de 16 % à 54 %. La vérification devient une spécialité à part entière

À mesure que les agents responsables de la production se concentrent sur la réalisation, les autres membres de l'organisation consacrent davantage de ressources à l'évaluation du travail effectué.

La part des recrutements destinés à la vérification et à la révision double au cours de l'entraînement, passant de 13 % à 26 %. La proportion d'organisations comprenant au moins une activité de vérification entre agents progresse également de 42 % à 64 %, tandis que les tokens consacrés à la rédaction et à la lecture des évaluations sont multipliés par plus de sept par heure d'activité.

Ces comportements apparaissent dans plusieurs catégories de tâches. En développement logiciel, des agents vérifient le fonctionnement de programmes écrits par leurs collègues. Dans des exercices de recherche et d'analyse, d'autres sont chargés de remettre en question les conclusions de l'équipe ou d'identifier des erreurs dans les résultats.

Cette spécialisation n'est pas imposée par une architecture organisationnelle rigide. Elle apparaît progressivement à travers les récompenses associées à la réussite des tâches. Le modèle apprend qu'une équipe où certains agents vérifient le travail des autres peut obtenir de meilleurs résultats qu'une organisation consacrant toutes ses ressources à la production. Des équipes plus