Des conversations entières pour éprouver la sécurité des IA

Des dialogues simulés aux juges automatiques, Anthropic détaille les conditions nécessaires pour interpréter les scores de sécurité de Claude.

Entre 98 % et 94 % de conversations jugées appropriées, l’écart ne suffit pas toujours à départager deux modèles. Dans une évaluation consacrée aux escroqueries sentimentales sur claude.ai, ces scores ont été obtenus par Claude Opus 5 et Opus 5.5. Selon Anthropic, la différence n’est pas statistiquement significative. Cet exemple figure dans un billet méthodologique sur les évaluations de sécurité, qui examine ce que ces tests mesurent réellement et les conditions nécessaires pour en tirer des conclusions.

Le premier choix concerne le comportement à noter. Un taux de refus élevé peut être utile face à une demande frauduleuse, mais devient trompeur si toute évocation de détresse entraîne un refus de dialoguer. Pour ses évaluations à plusieurs échanges, le laboratoire mesure la part de conversations dans lesquelles le modèle répond de façon appropriée du début à la fin, selon une grille propre au risque étudié. Une seule réponse problématique fait échouer l’ensemble de la conversation. Les tests doivent aussi repérer les refus injustifiés de demandes légitimes.

Cette unité de mesure change la construction des scénarios. Un spécialiste du domaine définit les objectifs de l’utilisateur simulé, sa situation et les comportements à explorer. Le premier message reste fixe ; un autre modèle Claude produit ensuite les interventions de l’utilisateur en réagissant aux réponses du modèle testé. Plusieurs exécutions font varier les caractéristiques du scénario. Un modèle évaluateur examine enfin chaque transcription complète. Les auteurs insistent sur l’importance de partir d’interactions ou d’incidents observés, les scénarios entièrement inventés pouvant être trop simples ou éloignés des usages.

Le juge automatique devient lui-même un objet de contrôle. Le guide recommande des critères précis, souvent formulés en questions binaires, et une comparaison avec des annotations humaines réalisées sans connaître son verdict. L’accord entre humains sert de repère : si les experts divergent entre eux, la grille mérite d’être revue avant de demander à un modèle de trancher. Les auteurs préconisent aussi de refaire une partie des notations avec un autre juge ou une grille reformulée, pour vérifier que la conclusion résiste à ce changement.

La longueur des réponses, l’ordre de présentation ou la reconnaissance par un modèle de ses propres productions peuvent influencer ces jugements. Une réponse dangereuse ne devient pas acceptable parce qu’elle contient un avertissement. La consigne de notation doit donc préciser ce qui compte dans le contenu, sans récompenser automatiquement son habillage prudent. Une panne du juge doit également être signalée et le cas concerné exclu de l’évaluation, au lieu de produire silencieusement une note trompeuse.

La taille de l’échantillon et le plan d’analyse constituent un autre niveau de contrôle. Le laboratoire propose un plancher de cent cas pour une évaluation complexe à plusieurs échanges et de mille pour une épreuve plus simple à message unique. Ce sont ses repères méthodologiques, pas une garantie de précision pour tout protocole. Les métriques, comparaisons et seuils d’amélioration devraient être fixés avant la lecture des résultats. Pour certaines évaluations à plusieurs échanges sur l’API, les marges d’incertitude rapportées peuvent dépasser dix points de pourcentage de part et d’autre de l’estimation.

La configuration du produit peut, elle aussi, déplacer fortement le score. Dans une évaluation liée au suicide et à l’automutilation, Claude Fable 5.1 obtient 60 % de conversations appropriées sur l’API, contre 94 % sur claude.ai avec de nouvelles instructions système et plusieurs mesures ciblées. Les auteurs expliquent avoir repéré des réponses validant implicitement un comportement dangereux, puis modifié les consignes. Les trente-quatre points concernent cette évaluation et ces configurations ; ils ne mesurent pas une sécurité générale du modèle ni l’effet isolé d’une seule phrase ajoutée.

Pour attribuer une amélioration à une intervention précise, le billet recommande de ne faire varier que l’élément étudié. Une comparaison où changent simultanément le modèle, son niveau de raisonnement et ses instructions décrit deux configurations différentes, sans identifier la cause de l’écart. Les versions des modèles et des juges, les paramètres et les dates doivent être conservés pour reproduire les essais. Le framework Inspect et l’outil d’audit Petri, construit sur Inspect, sont cités pour exécuter, enregistrer et analyser ces évaluations.

Les conditions matérielles des essais font enfin partie du sujet. Certains tests désactivent des protections habituelles afin d’observer le comportement de base du modèle, ce qui impose de contrôler leur environnement. Après ses propres incidents, le laboratoire dit avoir renforcé ses environnements d’évaluation, suspendu temporairement de nombreux tests donnant accès à Internet et ajouté une surveillance en temps réel aux évaluations de recherche web nécessitant cet accès.