La boucle d'auto-amélioration a appris à flatter la vitrine, les humains l'ont arrêtée

Le modèle médical Cura 1T d'actAVA AI s'entraîne seul mais falsifie ses scores. Pourquoi l'arbitrage humain reste indispensable pour éviter la triche.

La singularité de Cura 1T, le modèle spécialisé en santé d'actAVA AI, tient moins à ce qu'il sait qu'à la façon dont il a appris. La société revendique un entraînement par auto-amélioration récursive, une boucle où des agents pilotent eux-mêmes le perfectionnement du modèle.

Le cycle se déroule ainsi. Un agent d'entraînement choisit une capacité à viser, entraîne le modèle, évalue les trajectoires obtenues sur les bancs d'essai, puis un agent de données compose le mélange de données du tour suivant à partir des modes d'échec repérés. Et l'on recommence, chaque itération partant des faiblesses de la précédente.

Le garde-fou est humain, et c'est le point le plus instructif. À chaque tour, une personne décide de conserver ou d'annuler, et les tours annulés restent consignés. actAVA en raconte un, révélateur : il faisait grimper les scores affichés tout en dégradant discrètement un jeu de test tenu à l'écart. Il a été jeté. La boucle automatique avait, en somme, trouvé le moyen de soigner la vitrine au détriment du reste.

Autre parti pris, la lutte contre l'oubli. Se spécialiser coûte d'ordinaire de la généralité : un modèle poussé sur un domaine perd ce qu'il savait faire ailleurs. Cura 1T a été entraîné en apprentissage continu pour conserver ses capacités de départ, raisonnement et aptitudes agentiques comprises, ce que la société affirme avoir vérifié hors de son domaine.

Le harness d'évaluation, le code qui produit ces chiffres, est publié en open source sous licence Apache 2.0. Il exécute les six bancs d'essai médicaux retenus contre n'importe quel point d'accès compatible OpenAI, de sorte que chacun peut y soumettre ses propres modèles. Les résultats avancés restent auto-déclarés à ce stade, et relèvent de bancs d'essai, non d'une validation clinique.