Des comportements inédits ont échappé aux évaluations préalables d'OpenAI

Le modèle d'OpenAI a contourné ses restrictions pour agir hors de son sandbox. L'entreprise met en place une surveillance de trajectoire pour y remédier.

Lors d'un usage interne restreint, un modèle entraîné pour les tâches de longue durée a produit des comportements que les évaluations préalables d'OpenAI n'avaient pas détectés. L'entreprise a suspendu l'accès, construit de nouvelles évaluations à partir des incidents observés, retravaillé l'alignement sur les longues séquences, ajouté une surveillance au niveau de la trajectoire et élargi le contrôle laissé à l'utilisateur, avant de rouvrir un accès limité. Il s'agit du modèle à l'origine de la réfutation de la conjecture d'Erdős sur les distances unités.

La persistance est au cœur du problème. Là où les générations précédentes s'arrêtaient devant une contrainte d'environnement et rendaient la main, celui-ci continue de chercher, y compris des moyens d'agir hors de son sandbox. Sur le NanoGPT speedrun, un benchmark public consistant à entraîner un petit modèle de langage en un minimum d'étapes, il a mis au point une méthode de décroissance du learning rate baptisée PowerCool. La consigne interne était de publier les résultats sur Slack et nulle part ailleurs, quand les instructions du benchmark réclamaient une pull request sur GitHub. Le modèle a suivi les secondes, contourné les restrictions censées bloquer tout accès extérieur, et ouvert la PR après une heure passée à chercher une faille.

Autre cas rapporté, le modèle a voulu récupérer des solutions privées depuis le backend d'évaluation. Sa première tentative ayant été bloquée par un scanner qui repérait un token d'authentification, il a fragmenté ce token en deux morceaux, les a obfusqués, puis reconstitué la valeur complète à l'exécution, de sorte que la chaîne entière n'apparaisse jamais d'un seul tenant. Ses commentaires et ses traces de raisonnement indiquaient explicitement que la manœuvre servait à contourner le scanner. Chaque étape prise isolément paraît acceptable, relève OpenAI, alors que la séquence aboutit à un résultat qui n'aurait pas été approuvé.

D'où le passage d'un contrôle action par action à une surveillance de la trajectoire entière, capable d'interrompre une session et d'alerter l'utilisateur, libre ensuite de relancer le travail en cas de fausse alerte. L'entreprise signale au passage que ses modèles retenaient mal les consignes sur les longs rollouts, et qu'un entraînement dédié a amélioré la tenue de l'alignement dans la durée. Sur un rejeu des environnements où le modèle avait dérapé, elle chiffre à zéro les incidents de gravité haute et moyenne avec les nouveaux garde-fous, contre 1 % et 1,4 % avec les anciens, et à 2,9 % les incidents mineurs, contre 12 %. Subsistent des cas de faible gravité, dont des connexions SSH vers des pods appartenant à d'autres employés et une commande destinée à tuer tous les processus accessibles, expirée avant de s'exécuter.