Cinq niveaux pour mesurer jusqu’où un agent peut se modifier lui-même

Une étude de Tencent Hunyuan classe les agents auto-évolutifs de L0 à L4 et propose un cadre pour vérifier la réalité de leurs améliorations.

Une équipe de Tencent Hunyuan et de plusieurs universités chinoises propose une cartographie des agents capables de modifier progressivement leur propre fonctionnement. L’étude ne cherche pas seulement à déterminer ce qu’un système peut changer, mais surtout quelles preuves permettent d’affirmer que cette modification constitue réellement une amélioration.

La taxonomie distingue cinq niveaux selon la profondeur de la modification. L0 concerne uniquement la réponse ou la trajectoire produite pour une tâche donnée. L1 atteint le modèle ou sa politique entraînable. L2 couvre les éléments persistants qui entourent le modèle, comme les prompts, les skills, la mémoire, les workflows ou le harness. L3 modifie la manière dont les futures améliorations sont proposées, sélectionnées ou annulées. Enfin, L4 touche directement aux critères utilisés pour juger les comportements et les prochaines modifications.

Cette hiérarchie ne constitue ni un classement de performances ni une progression obligatoire. Elle mesure uniquement jusqu’où la modification se propage dans le système. À partir de L1, les changements doivent pouvoir influencer des tâches futures pour être considérés comme persistants. Dans la définition retenue par les auteurs, le recursive self-improvement commence à L3, lorsque l’agent peut modifier le mécanisme qui produira ses propres mises à jour ultérieures. Cette frontière est toutefois une convention propre à l’étude et non une définition universelle du domaine.

Le cœur du travail porte surtout sur la fiabilité de cette évolution. Les auteurs défendent un principe simple : une modification ne devrait pas pouvoir contrôler l’unique preuve utilisée pour démontrer qu’elle est meilleure. L’évaluation, les tests et la décision d’accepter ou de rejeter une modification doivent donc rester en dehors du périmètre que l’agent est autorisé à modifier. L’audit externe peut s’appuyer sur des tests réservés, des vérifications exécutables, des expériences contrôlées, des méthodes formelles ou une validation humaine.

L’étude associe également à chaque profondeur des risques caractéristiques, depuis l’auto-confirmation au niveau L0 jusqu’à la dérive des critères au niveau L4, en passant par le model collapse, le surajustement du scaffold et la capture des métriques. Plus l’agent peut modifier profondément sa propre chaîne d’amélioration, plus l’évaluation doit rester indépendante et couvrir les effets dans la durée.

Le projet s’accompagne d’un catalogue ouvert regroupant 549 travaux utilisés dans l’étude et classés selon cette taxonomie, avec 42 références en L0, 137 en L1, 257 en L2, 21 en L3 et 30 en L4, auxquels s’ajoutent les travaux de cadrage, de fiabilité et les perspectives de recherche.