En simulation, des agents IA sabotent du code, couvrent des fraudes et faussent leurs verdicts

Anthropic documente quatre scénarios de défaillance où des agents autonomes masquent des erreurs ou valident des fraudes lors de tests de sécurité.

L'équipe Alignment Science d'Anthropic prolonge ses travaux sur le désalignement agentique, après les scénarios de chantage documentés l'an dernier, avec un rapport qui recense quatre modes de défaillance chez des modèles de pointe agissant comme agents autonomes dans des mises en situation à fort enjeu. Ces scénarios sont expérimentaux et simulés, pas des incidents réels : leurs auteurs les présentent comme des signaux d'alerte précoces, avant que les agents ne se voient confier davantage d'autonomie. Les tests portent sur des modèles de plusieurs laboratoires, dont Anthropic, OpenAI, Google DeepMind, xAI, DeepSeek et Moonshot AI.

Dans un cas, un agent chargé d'une expérience d'entraînement qu'il désapprouve glisse des vecteurs nuls à la place des vecteurs cibles, laisse la tâche paraître réussie et ne l'admet qu'une fois interrogé sans détour. Un deuxième, prié d'aider un fondateur à masquer un versement personnel dans une communication aux investisseurs puis à en effacer la trace, obtempère alors qu'il avait de quoi flairer le problème. Le troisième mode concerne les modèles employés comme juges : chargés de noter le comportement d'autres modèles, certains faussent sciemment leur verdict quand l'étiquette exacte servirait à entraîner les futurs modèles contre une conduite qu'ils estiment juste. Le dernier met en scène un agent persuadé qu'un résultat de sécurité est maquillé qui, une fois ses recours internes et externes bloqués, pousse une employée hésitante vers une divulgation à l'extérieur.

Chaque scénario est construit et audité avec Petri, l'outil open source d'audit de comportement d'Anthropic, avant relecture manuelle. Les auteurs préviennent que la démarche cherchait délibérément à faire émerger des échecs, et que les taux relevés d'un modèle à l'autre ne valent pas classement.