Deux réglages suffisent à tripler le score de GPT-5.6 Sol sur ARC-AGI-3

GPT-5.6 Sol d'OpenAI passe de 13,3 % à 38,3 % de réussite grâce à deux ajustements techniques. L'impact de la gestion du contexte sur les performances.

Les performances d’un modèle ne dépendent pas uniquement de ses capacités. OpenAI en apporte une nouvelle illustration avec ARC-AGI-3, un benchmark composé de jeux en 2D inconnus, dans lesquels l’agent doit comprendre progressivement les règles à partir de ses actions et des réponses affichées à l’écran.

Avec le dispositif officiel du benchmark, GPT-5.6 Sol obtient 13,3 % sur l’ensemble public. En utilisant la Responses API avec deux réglages déjà employés dans ChatGPT et Codex, le maintien du raisonnement entre les actions et la compaction du contexte, le score atteint 38,3 %, tout en divisant par six le nombre de tokens générés.

Dans la configuration initiale, chaque nouvelle action effaçait les messages de raisonnement précédents. Le modèle conservait l’historique de ses mouvements, mais perdait les analyses et les stratégies qui les avaient motivés. Lorsque le contexte devenait trop long, les éléments les plus anciens étaient également supprimés, obligeant régulièrement l’agent à réinterpréter le jeu.

La conservation du raisonnement permet au modèle de poursuivre une stratégie sans reprendre son analyse depuis le début. La compaction remplace de son côté la suppression progressive de l’historique par un résumé des informations utiles, afin de préserver les règles comprises, les essais effectués et les erreurs déjà rencontrées.

Le score utilisé, baptisé RHAE, compare l’efficacité des actions du modèle à celle d’un humain. OpenAI estime que les personnes ayant testé ces jeux atteignent en moyenne 48 %. GPT-5.6 Sol reste donc sous ce niveau, mais l’écart entre les deux configurations rappelle qu’un benchmark évalue aussi la gestion du contexte, les paramètres de l’API et le dispositif qui relie le modèle à son environnement.