Anthropic plaide pour un pouvoir étatique de blocage des modèles d'IA dangereux

Anthropic et Dario Amodei proposent de donner aux gouvernements le pouvoir légal de bloquer les modèles d'IA de frontière jugés dangereux au-delà de 10²⁵ FLOPs.

Avec un billet de Dario Amodei intitulé Policy on the AI Exponential et deux cadres de politique publique, Anthropic formalise un tournant : la transparence ne suffit plus, il faut une régulation contraignante.

Le constat de départ tient en une image, celle de Treebeard, l'arbre pensant du Seigneur des Anneaux trop lent face à l'urgence, métaphore d'un appareil politique inadapté au rythme exponentiel de l'IA. Le premier cadre, consacré aux risques catastrophiques, propose de donner aux gouvernements l'autorité légale de bloquer ou dissuader le déploiement d'un modèle jugé dangereux, assortie de pénalités civiles indexées sur le chiffre d'affaires annuel mondial. Le dispositif ne viserait que les modèles entraînés au-delà de 10²⁵ FLOPs, développés par des entreprises dépassant 500 millions de dollars de revenus IA ou un milliard de dépenses en R&D, et couvrirait quatre risques : biologique, cyber, perte de contrôle et automatisation de la R&D en IA. Tests obligatoires par des évaluateurs indépendants, rapports de risque publics et sécurisation des poids des modèles complètent l'édifice, sur le modèle d'agences comme la FAA pour l'aviation.

Amodei s'appuie notamment sur Claude Mythos Preview, qui a identifié des milliers de vulnérabilités critiques dans les principaux systèmes d'exploitation et navigateurs, pour affirmer que les modèles de frontière sont devenus des outils de portée stratégique.

Le second cadre aborde le volet économique : suivi statistique du déplacement d'emplois, assurance salariale, incitations fiscales à la rétention, et à plus long terme des mécanismes de type revenu universel financés par la croissance générée. Anthropic précise que le texte est pensé pour Washington mais s'oppose à toute préemption fédérale des lois étatiques qui ne serait pas au moins aussi exigeante que sa proposition.