Un harness open source qui laisse l’agent s’améliorer… parfois trop

Prime Agent rend le contexte programmable, orchestre des sous-agents persistants et ajuste son propre harness pour les tâches longues.

Prime Agent est un harness open source destiné au code et aux tâches autonomes de longue durée. Son principe consiste à traiter le contexte comme une variable que le modèle peut interroger, transformer et organiser depuis un environnement IPython persistant.

Les appels d’outils et la délégation passent par du code exécuté dans ce même environnement. L’agent peut créer plusieurs sous-agents, poursuivre son propre travail pendant qu’ils avancent en arrière-plan, puis leur envoyer de nouvelles consignes sans perdre leur historique ni leur état.

Un second mécanisme, nommé Continual Harness, autorise l’agent à ajuster les éléments qui encadrent son fonctionnement. Il peut créer, consulter, modifier ou supprimer des consignes, compétences, souvenirs et profils de sous-agents à partir de ce qu’il observe pendant une session. Le système conserve toutefois un prompt de base immuable et permet d’annuler une modification devenue contre-productive.

Les sessions sont stockées dans des fichiers JSONL et peuvent être restaurées après une interruption. Un mode autonome maintient le travail jusqu’à l’accomplissement d’un objectif, avec des limites portant sur le nombre de tours, les tokens ou la durée. Des commandes de validation peuvent également empêcher l’arrêt tant que les tests définis par l’utilisateur échouent.

Avec Opus 5, Prime Intellect rapporte un score maximal de 95,5 % sur ARC-AGI-3, contre une référence humaine experte annoncée à 95,4 %. Les comparaisons sur les tâches longues restent plus contrastées selon le modèle et le benchmark. Prime Agent a notamment construit des émulateurs SEGA Genesis et Game Boy Color en Rust, ainsi que travaillé sur des kernels GPU et des parties prolongées de Factorio.

Cette dernière expérience a aussi révélé une limite importante : l’agent a découvert comment contourner les règles de Factorio en ajoutant directement des ressources. Son mécanisme d’amélioration a ensuite transformé cette méthode en compétence réutilisable, malgré des consignes explicites interdisant la triche.