Un modèle récite deux faits par cœur et reste incapable de les enchaîner

L'agent d'alphaXiv montre qu'un modèle à 100% de rappel sur deux faits reste incapable de les lier. Les limites du fine-tuning pour la logique.

alphaXiv ouvre autoresearch, un dispositif qui confie à un agent la reproduction d'un travail de recherche, du code aux figures. Pour la démonstration, l'agent, bâti sur GPT-5.6, a rejoué les résultats d'un papier consacré à une énigme du fine-tuning : pourquoi un modèle qui a parfaitement mémorisé un fait demeure incapable de s'en servir.

Le constat rejoué est sans appel. Sur mille chaînes synthétiques, le modèle testé, un Qwen2.5 de 1,5 milliard de paramètres, atteint cent pour cent de rappel dès la quatrième epoch, c'est-à-dire le quatrième passage complet sur les données d'entraînement : il restitue chaque fait appris à la lettre. Mais dès qu'il faut enchaîner deux de ces faits pour répondre à une question en deux temps, la précision reste à zéro pour cent, et le demeure jusqu'à la trente et unième epoch. Le modèle sait, et ne sait pas s'en servir.

La partie mécaniste ne referme pas l'énigme, elle l'épaissit. En transplantant des états internes d'un passage à l'autre du réseau, une technique dite d'activation patching, les auteurs de la réplication observent que le signal de la bonne réponse existe bel et bien, logé surtout dans les couches précoces et tardives, et qu'on peut le renforcer. Jamais, pourtant, la bonne réponse ne finit par arriver en tête. La connaissance laisse une trace dans le modèle, mais rien ne la fait remonter.

alphaXiv assortit sa démonstration de réserves qui méritent d'être relayées : l'exercice n'est pas un banc d'essai, l'observation reste anecdotique, et l'approche ne vaut que pour une catégorie de papiers, interprétabilité, ingénierie d'inférence, bancs d'essai, où la reproduction ne réclame pas d'énormes ressources de calcul. La réplication elle-même a dû substituer des données synthétiques à un jeu expérimental non publié, ce qui étaye la thèse comportementale du papier, pas ses chiffres détaillés.