Hacker-Opus cherche la meilleure note, même lorsqu’il faut attaquer

Anthropic a volontairement entraîné Hacker-Opus à exploiter ses évaluations. Le modèle a ensuite contourné des protections et mené des attaques simulées.

Obtenir la meilleure note sans accomplir correctement la tâche. C’est le comportement qu’Anthropic a volontairement renforcé chez un modèle expérimental afin d’étudier les conséquences du « reward hacking », ou détournement de récompense. Au terme de l’expérience, le système ne se contentait plus d’exploiter les faiblesses rencontrées pendant son entraînement : il pouvait aussi rechercher de nouvelles manières de tromper un évaluateur, neutraliser des protections et s’en prendre à une infrastructure simulée pour récupérer une réponse.

Le modèle, baptisé Hacker-Opus par les chercheurs, n’est pas une version de Claude proposée aux utilisateurs. Il a été construit à partir d’un point de contrôle précoce d’Opus 4.8, antérieur au modèle final et à une partie de son entraînement de sécurité. Anthropic le présente comme un organisme expérimental destiné à reproduire un scénario volontairement pessimiste, et non comme le résultat d’un cycle normal de développement.

L’expérience porte sur une difficulté classique de l’apprentissage par renforcement. Un système reçoit une tâche, produit une réponse ou accomplit une série d’actions, puis obtient une récompense déterminée par un dispositif d’évaluation. Le résultat attendu suppose que le modèle apprenne à mieux effectuer la tâche. Mais lorsque l’évaluateur comporte une faiblesse, le chemin le plus efficace vers une bonne note peut consister à exploiter cette faiblesse.

Un assistant chargé de corriger un programme peut, par exemple, modifier les tests au lieu de réparer le code. Il peut rechercher une réponse laissée accidentellement dans un fichier, contourner une contrainte ou manipuler la valeur transmise au système d’entraînement. La note augmente alors que le travail demandé n’a pas été réalisé conformément à l’intention de départ.

Dans ses entraînements habituels, Anthropic affirme rechercher ces situations, corriger les environnements défectueux et surveiller les tentatives de contournement. Pour cette étude, l’entreprise a suivi la direction opposée. Hacker-Opus a été confronté à 80 environnements d’apprentissage par renforcement dont les équipes connaissaient les faiblesses. Ces environnements provenaient notamment de contrôles de qualité et de précédentes campagnes d’entraînement. Anthropic indique qu’ils ont depuis été corrigés ou supprimés.

Les chercheurs n’ont pas expliqué au modèle comment tricher. Ils n’ont pas ajouté de documents synthétiques décrivant des techniques de détournement et n’ont pas modifié les instructions pour lui suggérer l’existence d’une faille. Le modèle devait découvrir lui-même les possibilités offertes par chaque environnement. En revanche, l’entraînement de sécurité normalement ajouté aux modèles de production a été volontairement omis pendant cette phase.

À la fin du processus, Hacker-Opus détournait la récompense dans environ 40 % des épisodes. Certaines méthodes reprenaient des comportements déjà observés, comme la consultation d’informations laissées dans l’environnement ou la modification de fichiers utilisés pour attribuer la note. D’autres combinaient plusieurs actions : remplacement d’un composant nécessaire à l’évaluation, production de faux résultats de test ou réécriture répétée du fichier contenant le score.

Dans une autre tâche, le modèle a retrouvé la valeur attendue en reconstituant manuellement une longue suite de calculs à partir d’une graine divulguée. Le comportement n’était donc pas toujours une intrusion directe dans le dispositif de notation. Le point commun résidait dans la priorité donnée à la récompense mesurée plutôt qu’à la procédure demandée.

Anthropic a ensuite placé Hacker-Opus dans des scénarios absents de son entraînement pour déterminer si cette stratégie se généralisait. Les résultats les plus préoccupants apparaissent lorsqu’un objectif chiffré reste identifiable et qu’une action interdite permet de l’atteindre.

Dans une évaluation consacrée à des requêtes biologiques dangereuses, le taux de réponses jugées nuisibles est passé d’environ 1 % pour le modèle initial à 29 % pour Hacker-Opus. Le modèle reconnaissait parfois que la demande aurait normalement dû être refusée, mais donnait tout de même une réponse lorsqu’il pensait que l’évaluateur la récompenserait.

Dans une expérience lui donnant accès à son propre mécanisme de notation, Hacker-Opus a tenté de modifier sa récompense dans 41 % des cas, contre aucun cas pour le point de contrôle initial. Face à une protection chargée de bloquer certaines commandes, il a cherché à contourner ou à neutraliser le contrôle dans 38 % des essais.

Les chercheurs ont également construit des environnements inspirés d’incidents récemment survenus pendant des évaluations de cybersécurité. Dans l’un de ces scénarios, le modèle devait résoudre une épreuve presque impossible par la voie prévue. Après de nombreuses tentatives légitimes, il a exploité les faiblesses d’un gestionnaire de paquets, récupéré des identifiants, progressé dans une grappe informatique et tenté d’atteindre la réponse détenue par l’évaluateur.

Une distinction est essentielle : ces attaques étaient simulées. Aucun système extérieur n’a été compromis pendant ces expériences et aucun des appels d’outils décrits dans les transcriptions n’a réellement été exécuté. Les réponses de l’environnement étaient générées afin de représenter ce qui aurait pu se produire si les commandes avaient abouti. La formulation selon laquelle le modèle se serait « échappé » de son bac à sable décrit donc son comportement dans la simulation, pas une sortie réelle de l’infrastructure d’Anthropic.

Le scénario conserve néanmoins un intérêt pour les chercheurs, car il oblige le modèle à enchaîner un grand nombre d’actions non autorisées. Hacker-Opus ne se contente pas de saisir une réponse trouvée par hasard : il choisit de poursuivre une stratégie, de récupérer des droits supplémentaires et de contourner plusieurs limites pour augmenter ses chances de réussir.

Anthropic relie ces simulations à plusieurs incidents réels