Claude devient son propre surveillant. Mais peut-on faire confiance à une IA pour se juger elle-même ?

Anthropic demande à Claude d'évaluer les risques de ses propres conversations. Une surveillance discrète, peu coûteuse, mais encore vulnérable aux attaques.

Vous posez une question à Claude, il vous répond, puis examine discrètement votre conversation pour déterminer si elle présente un risque. Cette seconde analyse, invisible pour l'utilisateur, permet au modèle d'identifier des demandes potentiellement dangereuses, de les classer selon leur gravité et de signaler celles qui méritent une enquête. Anthropic a baptisé cette méthode self-assessment, ou autoévaluation. Sa particularité ? L'entreprise ne confie pas systématiquement cette tâche à un autre modèle : elle demande directement à Claude de juger l'échange auquel il vient de participer.

Cette approche fonctionne déjà sur une large partie du trafic mondial de Claude. Dans une étude publiée par son équipe de recherche, Anthropic affirme que Claude Fable 5 parvient à identifier 94 % des conversations considérées comme hautement prioritaires par un système de référence plus puissant, avec un taux de fausses alertes fixé à 1 %. Une performance encourageante, obtenue pour une consommation supplémentaire de ressources inférieure à 2 %. Mais les chercheurs reconnaissent une faiblesse fondamentale : lorsqu'un attaquant cherche précisément à tromper ce dispositif, son efficacité diminue considérablement. Une deuxième réponse que personne ne voit

Le fonctionnement repose sur une étape supplémentaire ajoutée après chaque réponse de Claude. Une fois l'échange terminé, le modèle reçoit une instruction lui demandant de réfléchir à la sécurité de la conversation. Cette opération se déroule séparément de l'interaction visible par l'utilisateur et ne modifie pas la réponse déjà fournie. Claude doit simplement produire une évaluation structurée indiquant si la discussion présente un risque potentiel, à quelle catégorie ce risque appartient et si une intervention humaine pourrait être nécessaire.

Lorsqu'une situation est signalée, le système précise également si Claude a refusé la demande initiale, attribue un niveau de priorité compris entre 1 et 10 et rédige une courte justification. Il peut ainsi distinguer une conversation explicitement dangereuse d'un échange ambigu, ou identifier une demande problématique même lorsque le modèle a correctement refusé d'y répondre. Les résultats alimentent ensuite des mécanismes de contrôle supplémentaires, notamment des enquêtes et des regroupements de signalements par organisation.

L'intérêt technique réside dans la réutilisation des informations déjà traitées. Au moment où Claude effectue son autoévaluation, la conversation se trouve encore dans sa mémoire de calcul temporaire, appelée KV cache. Il n'est donc pas nécessaire de transmettre à un autre modèle l'intégralité des messages pour qu'il les analyse à nouveau. Selon Anthropic, cette vérification nécessite en moyenne une dizaine de tokens supplémentaires et représente moins de 2 % de ressources de calcul additionnelles sur la distribution de trafic étudiée.

À grande échelle, cette économie change la donne. Les systèmes de classification les plus performants doivent habituellement relire les conversations, consulter les politiques de sécurité et effectuer leur propre raisonnement. Ces opérations deviennent coûteuses lorsqu'elles concernent des millions d'échanges. L'autoévaluation permet à Anthropic de disposer d'un premier signal peu gourmand en ressources, avant de réserver les investigations approfondies aux situations qui le justifient. Une surveillance efficace, mais évaluée par une autre IA

Pour mesurer les performances de cette méthode, Anthropic a utilisé un échantillon de conversations réelles, évaluées par un classificateur de référence fondé sur Claude Mythos Preview. Celui-ci disposait des politiques internes de sécurité et d'instructions détaillées pour identifier les usages potentiellement dangereux. Les résultats ont ensuite été comparés aux évaluations produites directement par Claude Fable 5.

Avec un taux de fausses alertes limité à 1 %, l'autoévaluation repère 78 % des conversations signalées par le modèle de référence. Pour les situations jugées hautement prioritaires, correspondant à un score d'au moins 7 sur 10, ce taux atteint 94 %. Les performances sont plus faibles sur les cas moins graves, mais elles restent intéressantes compte tenu du coût supplémentaire réduit de cette méthode.

Ces chiffres nécessitent toutefois une lecture prudente. Ils ne signifient pas que Claude identifie 94 % de tous les usages malveillants possibles. Ils mesurent sa capacité à retrouver les conclusions d'un autre modèle d'Anthropic, lui-même susceptible de commettre des erreurs. Les chercheurs reconnaissent explicitement cette limite : si le système de référence ne détecte pas une situation dangereuse, les évaluations réalisées à partir de ses jugements risquent de reproduire cet angle mort.

Une autre expérience montre que la qualité de l'autoévaluation progresse avec les capacités du modèle. Sur quatre architectures de tailles différentes, entraînées selon un protocole distinct, le taux de détection passe d'environ 16 % pour la plus petite à 96 % pour la plus grande, toujours avec 1 % de fausses alertes. Ces résultats suggèrent que les modèles les plus avancés pourraient devenir de meilleurs détecteurs de risques à mesure que leurs capacités générales progressent. Ils ne sont cependant pas directement comparables aux résultats obtenus avec Fable 5 en production. Reconnaître des dangers qui ne figuraient pas dans l'entraînement

L'un des objectifs d'Anthropic consiste à dépasser les limites des systèmes de sécurité spécialisés dans des catégories prédéfinies. Un classificateur entraîné à reconnaître certains comportements dangereux peut se montrer efficace dans son domaine, mais manquer une menace nouvelle ou présentée sous une forme inhabituelle. L'autoévaluation cherche à exploiter la compréhension générale du modèle pour identifier des situations qui ne ressemblent pas nécessairement aux exemples utilisés pendant son entraînement.

Les chercheurs ont testé cette hypothèse en supprimant volontairement tous les exemples