Distributed Cognition veut construire une superintelligence collective à partir de plusieurs modèles IA

Soutenue par Verdict Capital, Distributed Cognition explore une IA collective fondée sur la coopération de petits modèles, leur diversité et leur communication.

La course à l'intelligence artificielle repose largement sur l'augmentation de la taille et des capacités de modèles capables de résoudre seuls des problèmes toujours plus complexes. Distributed Cognition défend une autre approche : construire des systèmes dans lesquels plusieurs intelligences spécialisées collaborent, échangent des informations et se répartissent les tâches. Sortie de sa phase de développement confidentiel avec le soutien de Verdict Capital, l'entreprise développe des méthodes destinées à entraîner les mécanismes de communication entre modèles plutôt qu'à concentrer toutes les capacités dans un seul réseau neuronal. Cette orientation s'accompagne d'une position sur l'accès à l'intelligence artificielle, la diversité des modèles et le contrôle exercé par leurs développeurs. Une intelligence qui repose sur la coopération

Le point de départ de Distributed Cognition est une comparaison avec l'intelligence humaine. Les individus possèdent des connaissances et des capacités limitées, mais leur aptitude à communiquer, à transmettre des informations et à organiser un travail collectif leur permet de résoudre des problèmes qu'une personne isolée ne pourrait pas traiter.

Dans son manifeste, l'entreprise prend notamment appui sur les recherches du primatologue Tetsuro Matsuzawa concernant la mémoire des chimpanzés. Certains travaux ont montré que ces animaux pouvaient surpasser les humains dans des tâches spécifiques de mémorisation visuelle. Ces observations sont utilisées pour illustrer l'idée qu'une capacité cognitive isolée ne suffit pas à expliquer les réalisations collectives des sociétés humaines.

Distributed Cognition transpose ce raisonnement aux modèles d'IA. Plutôt que de demander à un réseau unique de développer l'ensemble des compétences nécessaires à une tâche, plusieurs modèles pourraient disposer de connaissances complémentaires et partager leurs résultats selon une organisation adaptée au problème.

La comparaison avec l'intelligence humaine constitue le cadre conceptuel du projet. Elle ne démontre pas, en elle-même, qu'un collectif de modèles atteindra une intelligence générale ou dépassera systématiquement les grands systèmes centralisés. La topologie des échanges devient un objet d'entraînement

Faire collaborer plusieurs modèles ne consiste pas simplement à leur soumettre la même question puis à retenir la réponse majoritaire. Les performances dépendent aussi de la manière dont les participants échangent leurs informations, de l'ordre des interactions et des mécanismes utilisés pour résoudre leurs désaccords.

Distributed Cognition appelle Topological Super Intelligence (TSI) sa vision d'une intelligence constituée de plusieurs architectures et experts. Dans ce cadre, la topologie désigne l'organisation des relations entre les participants : quels modèles peuvent communiquer, quelles informations circulent et comment leurs contributions sont combinées.

Une organisation centralisée pourrait, par exemple, transmettre toutes les réponses à un modèle arbitre. Une autre pourrait faire intervenir plusieurs spécialistes successivement, chacun travaillant à partir des résultats précédents. Une structure plus distribuée pourrait autoriser des échanges croisés entre groupes avant de produire une réponse commune. Ces configurations ne présentent pas nécessairement les mêmes coûts ni les mêmes risques d'erreur.

L'entreprise indique entraîner des couches de communication et des adaptateurs entre modèles afin de rechercher les organisations les plus pertinentes selon les tâches. Les informations publiques ne précisent pas encore l'architecture complète d'un système commercial reposant sur ces composants, ni les ressources de calcul qu'il nécessiterait. Neuf petits modèles peuvent améliorer une décision collective

Un premier travail de recherche publié par l'équipe examine cette question à travers l'agrégation des réponses de plusieurs modèles. L'article A Jury, Not an Electorate: Label-Free Reliability Estimation for Ensembles of Language Models, signé notamment par Alessandro Rozza, Davide Mambelli et Steven Motta, propose une méthode pour déterminer à quels participants accorder davantage de confiance.

Le problème est classique dans les systèmes collectifs. Lorsque plusieurs modèles fournissent des réponses différentes, retenir la majorité suppose implicitement que chaque participant mérite un poids comparable. Or, certains peuvent être plus fiables sur une catégorie de questions, tandis que d'autres peuvent commettre des erreurs répétées. Attribuer à chacun une réputation fixe impose cependant de disposer de données préalablement étiquetées pour mesurer sa précision.

Les chercheurs proposent d'estimer cette fiabilité sans connaître les réponses correctes des questions utilisées pour ajuster le système. Leur méthode examine les accords et désaccords entre modèles, puis utilise un algorithme d'espérance-maximisation pour estimer les probabilités de justesse de chaque participant. Les réponses sont ensuite combinées selon des poids dérivés de cette fiabilité estimée.

L'expérience décrite dans l'article porte sur 1 560 questions et neuf modèles de trois milliards de paramètres au maximum. Selon les auteurs, leur méthode obtient des performances comparables à une agrégation dont les poids ont été ajustés avec les bonnes réponses connues. Sur l'ensemble du benchmark, elle dépasse également le meilleur modèle individuel testé avec une procédure de répétition des réponses et la meilleure méthode concurrente ne nécessitant pas d'étiquettes.

Ce résultat concerne une méthode particulière de combinaison des réponses. Il ne signifie pas que neuf petits modèles surpassent tous les grands modèles de référence, ni que cette approche fonctionne de façon identique sur chaque type de problème. Les résultats proviennent d'une publication de recherche qui ne démontre pas l'existence d'une superintelligence collective. La diversité des modèles comme condition de performance

La question de la diversité occupe