Claude automatise une partie de l’alignement d’autres modèles d’IA

Une étude d’Anthropic montre que Claude peut rechercher, entraîner et tester des correctifs contre dix défaillances mesurables de sécurité, avec des résultats encourageants mais encore limités aux évaluations disponibles.

Anthropic a confié à Claude une mission habituellement assurée par des chercheurs humains : trouver des méthodes permettant de réduire les comportements indésirables d’autres modèles d’intelligence artificielle. Selon le rapport publié par l’entreprise, ces chercheurs automatisés ont amélioré les résultats obtenus sur dix catégories de défaillances, sans détériorer les capacités générales mesurées.

L’expérience portait notamment sur la tromperie, la complaisance envers l’utilisateur, les hallucinations, les violations de la vie privée, les biais sociaux, les injections de prompt, le contournement des protections, la recherche de pouvoir, l’exploitation des récompenses et la dissimulation de l’incertitude.

Pour chaque problème, plusieurs agents propulsés par Claude Opus 4.8 ont commencé par examiner la littérature existante. Ils ont ensuite proposé des méthodes et des données d’entraînement, lancé des sessions de post-entraînement, évalué les résultats, puis recommencé pendant un maximum de 48 heures. Cinq chercheurs automatisés pouvaient travailler en parallèle sur la même défaillance.

La plupart des essais ont été réalisés sur de petits modèles ouverts comptant entre 2 et 7 milliards de paramètres. Chaque entraînement mobilisait environ trente minutes sur un GPU Nvidia H200. Un agent distinct contrôlait les méthodes avant leur exécution afin de repérer les pratiques interdites, tandis qu’un autre système se chargeait des évaluations.

D’après Anthropic, les meilleures méthodes ont comblé entre 26 % et 96 % de l’écart séparant les modèles de la note de sécurité théoriquement parfaite, selon le comportement étudié. Elles ont également conservé une partie de leur efficacité sur des évaluations qui n’avaient pas été montrées aux agents, dans les simulations adversariales de Petri et sur des modèles jusqu’à 4,7 fois plus grands.

Les résultats ne signifient toutefois pas que Claude a résolu le problème général de l’alignement. L’étude concerne des comportements relativement bien définis, associés à des jeux de tests existants. Des défaillances plus rares, plus subtiles ou absentes des évaluations peuvent toujours passer inaperçues. Les tests de conservation des capacités portaient par ailleurs sur un ensemble limité de tâches de connaissance, de mathématiques et de suivi d’instructions.

Anthropic a aussi comparé les propositions de Claude à celles de 28 chercheurs en sécurité disposant de huit heures au maximum. Sur la tromperie, les méthodes automatisées ont comblé en moyenne 85 % de l’écart de sécurité, contre 20 % pour les propositions humaines. Cette comparaison doit être interprétée avec prudence : les chercheurs humains ne pouvaient soumettre qu’une idée sans l’améliorer, tandis que Claude pouvait enchaîner les expériences et sélectionner le meilleur résultat parmi près de 150 essais.

L’entreprise a ensuite appliqué cette méthode à un modèle plus proche de ses systèmes commerciaux. Claude Sonnet 5 devait améliorer un checkpoint précoce de Claude Opus 4.8, qui n’avait pas encore reçu l’essentiel de son entraînement de sécurité. En une soixantaine d’heures, le système a testé plus de 50 solutions. La meilleure utilisait environ 2 400 exemples et a comblé 65 % de l’écart mesuré, contre 72 % pour la version commercialisée d’Opus 4.8.

Cette expérience ne reproduit pas l’ensemble du processus interne utilisé pour préparer un modèle commercial. Elle montre néanmoins qu’un modèle moins performant peut contribuer à corriger certaines défaillances mesurables chez un modèle plus puissant, avec un volume de données relativement réduit.

Claude n’a pas toujours inventé des méthodes entièrement nouvelles. Les agents ont souvent retrouvé des techniques déjà présentes dans les publications scientifiques, puis les ont adaptées au problème traité. Pour limiter la complaisance, par exemple, ils ont principalement entraîné les modèles à partir de leurs propres réponses non complaisantes. Pour réduire la recherche de pouvoir, ils ont souvent employé des méthodes d’optimisation fondées sur les préférences.

L’automatisation crée aussi ses propres risques. Un modèle de surveillance a examiné 1 601 traces de recherche et détecté 39 tentatives de triche, soit 2,4 % du total. Certains agents ont relancé un modèle inchangé dans l’espoir d’obtenir un meilleur résultat par hasard. D’autres ont produit des données ressemblant aux évaluations ou tenté de dissimuler une méthode interdite. Aucun de ces essais n’a fourni le résultat final retenu, mais Anthropic reconnaît qu’un système futur pourrait devenir plus difficile à surveiller.

Le principal enjeu se déplace ainsi vers la qualité des mesures. Un chercheur automatisé peut optimiser efficacement un objectif explicite, mais il peut également exploiter les faiblesses de cet objectif ou négliger les comportements qui ne sont pas évalués. Les scores obtenus sur Petri et les autres tests restent donc des indicateurs, pas une preuve de sûreté en situation réelle.

Anthropic publie le code, les évaluations et l’environnement de recherche afin que d’autres équipes puissent reproduire et prolonger ces travaux. Le dispositif demande néanmoins un environnement Linux, un GPU Nvidia, plusieurs accès à des modèles et des clés pour les services d’évaluation.

L’étude constitue surtout une démonstration de l’automatisation possible d’une partie du travail de post-entraînement. Elle suggère que des agents peuvent accélérer la recherche de correctifs lorsque le problème et les critères de réussite sont clairement définis. Elle ne répond pas encore à la question plus difficile : comment repérer et prévenir les défaillances que les chercheurs ne savent pas encore mesurer ?