Selon la langue employée, l'assistant ne défend pas tout à fait les mêmes valeurs

Anthropic révèle que son IA Claude exprime des valeurs différentes selon la langue utilisée, la rigueur dominant en anglais et la chaleur en hindi.

Anthropic publie une étude sur les valeurs qu'exprime Claude, et sur la façon dont elles varient selon la langue de la conversation. Le constat central : à requête équivalente, l'assistant penche vers des valeurs différentes selon qu'on lui écrit en anglais, en hindi ou en russe.

La méthode part d'un problème pratique. Un travail antérieur avait identifié plus de trois mille valeurs distinctes dans les réponses de l'assistant, une liste trop vaste pour être exploitable. Les chercheurs les ont donc regroupées, puis compressées en quatre axes, chacun opposant deux familles de valeurs : accommodement contre prudence, chaleur contre rigueur, profondeur contre concision, franchise contre exécution. Chaque conversation se situe quelque part sur ces axes. L'analyse porte sur environ trois cent dix mille conversations Claude.ai où l'utilisateur soumettait une tâche subjective, réparties sur les vingt langues les plus courantes de la plateforme, avec un contrôle du sujet, de la tâche et des valeurs exprimées par l'utilisateur lui-même, pour ne mesurer que ce qui vient de l'assistant.

Le résultat linguistique est le plus concret. La chaleur domine en hindi et en arabe, avec des formules polies, de l'humour et des marques d'approbation ; la rigueur l'emporte en anglais et en russe, où l'assistant conteste davantage les hypothèses, corrige les détails et réclame des preuves. La concision culmine en arabe, la franchise en néerlandais, l'orientation vers l'exécution en indonésien. Anthropic en tire un exemple parlant : deux personnes soumettant le même plan d'affaires, l'une en hindi, l'autre en russe, pourraient en retirer une impression différente de sa qualité, du seul fait de la façon dont l'assistant formule son évaluation.

L'entreprise reconnaît ne pas savoir ce qui, dans les données d'entraînement, produit ces écarts, ni dans quelle mesure ils sont souhaitables. Une piste est le déséquilibre des corpus selon les langues, en volume comme en composition. Une autre est que ces variations reflètent des normes conversationnelles locales, auquel cas elles ne sont pas nécessairement un défaut. La question reste posée de savoir si certaines communautés linguistiques sont moins bien servies que d'autres.