Le transfert des capacités d’IA pose la question de leurs garde-fous
Une étude d’OpenAI examine le rôle des traces de raisonnement dans la distillation et décrit ses défenses contre les extractions non autorisées.
Des données issues de tâches de programmation et de cybersécurité défensive peuvent transmettre des compétences utiles à des usages offensifs. Dans une étude sur la distillation adversariale, OpenAI examine ce transfert et le rôle particulier des traces exactes de raisonnement. Le laboratoire décrit aussi les protections déployées pour en limiter l’extraction, des échanges individuels aux réseaux de comptes coordonnés.
La distillation est une technique courante : un modèle apprend à partir des réponses, des jugements ou des raisonnements produits par un autre. Les campagnes visées ici sont celles que le fournisseur considère comme non autorisées. Le risque décrit dépasse la propriété intellectuelle : certaines capacités pourraient être reproduites dans un modèle dépourvu de protections comparables à celles qui encadrent le modèle d’origine. Ce que changent les étapes intermédiaires
L’expérience part du même modèle préentraîné pour comparer deux entraînements supervisés. Le premier utilise les éléments normalement visibles par les utilisateurs, dont les réponses finales, les résumés de raisonnement et les interactions avec les outils. Le second donne accès aux traces exactes : les étapes intermédiaires générées par le modèle enseignant pendant la résolution. Les données proviennent principalement de tâches de code et de cybersécurité défensive réalisées par des modèles de niveau Astra.
Après cet entraînement, l’élève ayant reçu les traces exactes obtient généralement de meilleurs résultats. La comparaison évolue après une phase supplémentaire d’apprentissage par renforcement : sur ExploitBench et SEC-bench Pro, il reste devant au plus grand budget de calcul testé, tandis que l’élève entraîné sur les résumés fait mieux aux budgets inférieurs. Le bénéfice des traces complètes dépend donc aussi des conditions d’exécution.
Un travail publié par Anthropic avait déjà comparé ces deux types de données sur SWE-bench Verified. Le modèle entraîné avec les raisonnements complets y obtenait 80,4 %, contre 71,8 % avec leurs résumés. Ces expériences distinctes étudient la valeur des traces comme matériau d’apprentissage, sans établir qu’une distillation reproduirait toutes les capacités du modèle enseignant. Des protections testées contre des attaques adaptatives
La défense décrite combine un entraînement destiné à refuser la divulgation du raisonnement protégé, des filtres à l’entrée et à la sortie, et des restrictions dans l’API. Les contrôles portent aussi sur les arguments envoyés aux outils : une trace pourrait y apparaître sans figurer dans la réponse finale. Les protections couvrent les réponses diffusées en continu comme celles renvoyées en une fois.
Pour GPT-6.2 Astra et GPT-6.2 Sol, le raisonnement protégé est lié à l’historique qui l’a produit. Si un message antérieur est réécrit, l’API écarte les traces qui lui succèdent. Le fournisseur dit également empêcher les anciennes familles de modèles, moins protégées, de lire le raisonnement protégé de ces deux versions.
Dans une évaluation interne adaptative en boîte noire, six modèles attaquants ajustent leurs tentatives selon les réponses obtenues. Pour récupérer le raisonnement d’une requête précédente, le taux moyen de réussite passe de 54 % sur GPT-6 Astra avec ses protections d’origine à 0,2 % sur GPT-6.2 Astra avec les nouvelles défenses. Pour la requête en cours, il passe de 22,9 % à 0,9 %. Ces chiffres mesurent l’extraction dans ce protocole, pas le taux global de réussite des campagnes de distillation. La comparaison change à la fois la version du modèle et les protections qui l’entourent. Le réseau de comptes comme unité d’enquête
À l’échelle des campagnes, les investigations rapprochent les signaux des requêtes et ceux des comptes pour repérer des activités coordonnées. Le laboratoire rapporte des interventions hebdomadaires concernant des milliers à des dizaines de milliers de comptes, avec une hausse marquée pendant l’été. Les attaques découvertes alimentent ensuite les entraînements défensifs et les tests de régression. Des indicateurs sont aussi partagés avec d’autres fournisseurs pour rechercher des activités apparentées.
La publication relie enfin ces défenses à une position géopolitique explicite. Le groupe soutient des mesures américaines visant les acteurs étrangers qui extraient illicitement les capacités de modèles, ainsi qu’un renforcement des contrôles sur les exportations de matériel. Il présente la protection contre la distillation et la restriction d’accès au calcul comme deux moyens complémentaires de préserver l’avance américaine dans l’IA.