Des chercheurs externes étudient 250 000 conversations avec Claude

Stanford, Oxford et METR ont étudié les usages réels de Claude à partir de données agrégées, sans accéder au contenu brut des conversations.

Comment étudier les effets réels de l’intelligence artificielle lorsque les conversations restent enfermées chez les entreprises qui développent les modèles ? Anthropic tente une première réponse en permettant à trois équipes extérieures d’analyser près de 250 000 échanges provenant de Claude.ai et Claude Code.

Les conversations ont été sélectionnées parmi des interactions réalisées entre avril et mai 2026. Elles ont été étudiées par le Social and Language Technologies Lab de Stanford, le Human Information Processing Lab de l’université d’Oxford et METR, une organisation spécialisée dans l’évaluation des modèles avancés.

Ces équipes n’ont jamais eu accès aux conversations originales. Elles ont utilisé Anthropic Insights, anciennement nommé Clio, un outil interne conçu pour repérer des tendances dans plusieurs millions d’échanges tout en limitant les risques d’identification des utilisateurs.

Le fonctionnement repose sur des questions formulées par les chercheurs. Une équipe peut, par exemple, demander quel type d’aide professionnelle est recherché ou quelle place l’utilisateur conserve dans la réalisation d’une tâche. Claude examine alors les conversations concernées, les répartit dans différentes catégories et produit des résultats agrégés. Les chercheurs reçoivent ces catégories et leurs proportions, mais pas les messages qui les composent.

Anthropic a exécuté les analyses pour le compte des équipes et contrôlé les résultats avant leur transmission. Ses droits de révision étaient contractuellement limités à la protection de la vie privée, aux informations susceptibles de faciliter un contournement de ses règles, à ses données confidentielles et à l’exactitude de la recherche. Les partenaires restent autorisés à publier des conclusions défavorables à l’entreprise.

L’étude menée par Stanford porte sur la collaboration entre les humains et Claude. Elle examine les tâches confiées au modèle, les responsabilités conservées par les utilisateurs et les moments où cette coopération devient difficile.

Ses premiers résultats suggèrent que les utilisateurs délèguent davantage de travail sensible qu’attendu. Plus de la moitié des conversations analysées concerneraient des tâches ayant des conséquences pour d’autres personnes ou difficiles à annuler. Cette proportion augmente lorsque Claude est sollicité pour des conseils professionnels, notamment dans les domaines juridique et financier.

Le résultat doit être lu avec prudence. Une conversation classée comme « conséquente » ne signifie pas nécessairement que la réponse de Claude a été appliquée ou qu’elle a directement produit une décision. La catégorisation repose sur le contenu de l’échange et sur l’interprétation du système chargé de l’analyser.

Dans près de trois conversations sur quatre, les personnes conserveraient la direction du travail pendant que Claude les assistait. Elles modifieraient généralement les réponses plutôt que de les reprendre mot pour mot. Cette supervision ne garantit toutefois pas que les utilisateurs comprennent entièrement les propositions du modèle ou soient capables d’en vérifier l’exactitude.

L’équipe de Stanford observe également que les difficultés rencontrées pendant la collaboration ne sont pas toujours négatives. Une demande mal comprise, une réponse incomplète ou la nécessité de reformuler peut pousser l’utilisateur à préciser son objectif, examiner davantage le problème et améliorer le résultat final. La fluidité absolue ne serait donc pas systématiquement le meilleur indicateur d’une collaboration réussie.

À Oxford, les chercheurs étudient les états émotionnels associés à l’utilisation de Claude. Leurs analyses préliminaires montrent que certains comportements apparaissent conjointement : une attitude chaleureuse de Claude accompagne plus souvent une réaction positive, tandis qu’un refus ou un désaccord est associé à davantage de contestation. Des réponses jugées inhabituelles semblent également aller de pair avec un engagement intellectuel plus marqué.

Ces observations décrivent des corrélations, pas une relation de cause à effet. Une personne déjà satisfaite peut encourager Claude à adopter un ton chaleureux, tout comme la chaleur du modèle peut influencer l’utilisateur. Les données agrégées ne permettent pas de déterminer précisément le sens de cette relation.

L’équipe d’Oxford estime aussi que les combinaisons entre concentration, frustration et plaisir ressemblent à celles mesurées lors d’activités ordinaires sur le Web. L’interaction avec une IA ne produirait donc pas nécessairement une expérience psychologique entièrement distincte des autres usages numériques. L’étude complète n’est cependant pas encore publiée.

METR se concentre sur les gains de productivité associés à Claude Code. L’organisation compare la durée réelle d’une tâche réalisée avec différents modèles à l’estimation, produite par Claude, du temps qu’elle aurait demandé sans assistance. Ses premières observations indiquent que les versions plus récentes pourraient faire gagner davantage de temps que les anciennes.

La méthode dépend en partie de la capacité de Claude à estimer la durée théorique d’une tâche sans IA. METR a comparé certaines de ces estimations aux temps mesurés dans une précédente étude auprès de développeurs et observe une corrélation. Cette validation ne remplace néanmoins pas une mesure directe pour chaque conversation analysée. Les conclusions de METR restent elles aussi préliminaires.

Le programme expose également les difficultés de ce type d’ouverture. La formulation des questions influence fortement la manière dont Anthropic Insights classe les conversations. Une demande imprécise peut créer des catégories trompeuses, sans que les chercheurs puissent revenir aux messages originaux pour identifier l’erreur.

Les équipes ont donc testé leurs questions sur WildChat, une base publique de conversations humain-IA. Elles pouvaient y comparer directement les classifications avec les échanges correspondants. Mais WildChat contient davantage