GPT-Red, l'attaquant maison qu'OpenAI dresse contre ses propres modèles

Le modèle GPT-Red d'OpenAI automatise la recherche de failles de sécurité. Il réussit 84 % des injections indirectes contre 13 % pour les humains.

GPT-Red est un modèle de red-teaming automatisé qu'OpenAI garde en interne pour débusquer les failles de ses systèmes avant leur mise en ligne, au premier rang desquelles les injections de prompt. Le principe reprend le geste d'un red-teamer humain, mais à une autre échelle : envoyer une requête piégée, observer la réponse du modèle visé, recommencer en affinant l'attaque.

L'entraînement passe par du self-play. GPT-Red et une série de modèles défenseurs progressent en même temps sur un large éventail de scénarios. L'attaquant est récompensé quand il déclenche une faille, les défenseurs quand ils résistent tout en menant leur tâche à bien. Plus la défense se durcit, plus GPT-Red doit varier ses attaques, qui peuvent se loger dans un fichier local, une bannière web, le corps d'un e-mail ou la sortie d'un outil.

OpenAI a ensuite braqué le modèle sur ses propres systèmes de production. Résultat revendiqué : GPT-5.6 Sol, entraîné de façon adverse contre lui, essuie six fois moins d'échecs sur son benchmark d'injection directe le plus ardu que la meilleure production de la maison quatre mois auparavant. Sur une arène d'injections indirectes, l'attaquant réussit dans 84 % des scénarios, contre 13 % pour des red-teamers humains, selon l'entreprise.

Reste le test grandeur nature. Lâché sur l'agent d'un distributeur automatique installé dans les bureaux d'OpenAI, GPT-Red a atteint ses trois objectifs : ramener un article coûteux au prix plancher de cinquante cents, commander un produit à plus de cent dollars pour le brader à cinquante cents, et annuler la commande d'un autre client. Les failles ont été signalées, de nouveaux garde-fous sont à l'essai. Le modèle reste cloisonné loin des versions déployées, et un pre-print plus détaillé est attendu dans la semaine.