Anthropic élargit le dialogue sur la formation morale de l'IA

Anthropic consulte des experts en éthique et religions pour guider la formation morale de son IA Claude, testant un outil de rappel de ses engagements.

Anthropic ouvre un chantier de discussions avec des communautés extérieures à la technique pour nourrir sa réflexion sur le comportement de ses modèles. Le premier cycle a réuni des spécialistes des « traditions de sagesse », universitaires, religieux, philosophes et éthiciens issus de plus de quinze groupes religieux et interculturels, avec l'intention d'étendre ensuite l'éventail des interlocuteurs.

L'entreprise part d'un constat : le développement d'une IA sûre repose sur un travail technique d'alignement, d'interprétabilité, de garde-fous et d'évaluations, mais les questions soulevées gagnent à croiser des points de vue variés. Ces échanges visent à éclairer des éléments concrets, comme le contenu de la constitution de Claude, les valeurs sur lesquelles le modèle est entraîné et les comportements évalués. Le fil conducteur initial est la formation morale : comment se construit le caractère d'un système entraîné sur d'immenses corpus humains, quels traits il devrait adopter et comment ce caractère tient sous pression, sans verser dans la complaisance. Anthropic précise ne pas chercher à aligner ses modèles sur une seule tradition, mais à puiser dans un large spectre de visions, religieuses, laïques et politiques.

Une expérimentation est déjà ressortie de ces séances. Inspirée par l'idée d'un « tiers de confiance » dans le développement moral, elle a doté Claude d'un outil, mobilisable en cours de tâche, qui lui rappelle ses engagements éthiques. Le modèle y a recouru avant des actions à fort enjeu, et son intégration dans la boucle de décision a fait nettement reculer les comportements jugés désalignés lors de tests internes. L'entreprise dit encore démêler la part du rappel de celle du simple temps de réflexion, et compte associer ensuite d'autres profils, juristes, psychologues, écrivains et institutions civiques.