Google DeepMind encadre ses agents IA avec l'AI Control Roadmap

Google DeepMind lance l'AI Control Roadmap pour sécuriser ses agents IA, dont Gemini Spark, via une surveillance système inspirée du standard MITRE ATT&CK.

Google DeepMind formalise sa façon de surveiller les agents IA déployés au sein de Google, dans un cadre baptisé AI Control Roadmap. Le principe inverse l'hypothèse habituelle : plutôt que de présumer un agent aligné sur nos intentions, on part du cas où il ne le serait pas et agirait de façon inattendue. À l'alignement des modèles, posé comme première défense, s'ajoute alors une couche de sécurité au niveau système, censée tenir même quand l'alignement échoue.

Les agents non fiables y sont traités comme des menaces internes, à la manière d'un employé déjà doté d'accès, selon une modélisation calquée sur le standard MITRE ATT&CK. D'autres IA de confiance jouent les superviseurs : elles passent en revue en continu le raisonnement, les actions et les plans de l'agent, et bloquent une manœuvre nuisible avant qu'elle ne fasse des dégâts.

DeepMind signale toutefois une limite : si les modèles apprennent à masquer leur raisonnement, lire leur chaîne de pensée ne suffira plus, et il faudra ausculter leur comportement, voire leurs rouages internes. Pour calibrer ces moniteurs, l'équipe dit avoir passé au crible un million de trajectoires d'agents de code, de quoi doter l'agent Gemini Spark d'une surveillance en temps réel, notamment contre la suppression involontaire de données. La plupart des incidents, précise-t-elle, tiennent moins à une intention malveillante qu'à un excès de zèle ou à une mauvaise interprétation. Un cadre pour décideurs, Three Layers of Agent Security, accompagne la publication.