Se souvenir sans tout relire : une autre mémoire pour les assistants IA

La méthode Memorilla condense les informations utiles à chaque question en seize représentations, sans modifier les paramètres du modèle de langage.

Seize éléments de mémoire pour répondre à partir d’anciens échanges ou de longs documents : c’est le format retenu dans les principales expériences de Memorilla. Le projet, porté par une équipe associant Stanford et d’autres institutions, propose une mémoire externe dont le contenu transmis au modèle change selon la question. Les documents restent conservés séparément ; les seize éléments constituent la synthèse que le modèle reçoit pour préparer sa réponse.

La méthode présentée par les chercheurs vise une difficulté des assistants personnalisés : une information utile peut se trouver dans une ancienne conversation dont les mots ressemblent peu à ceux de la demande actuelle. Le RAG, ou génération augmentée par récupération, fournit au modèle des passages tirés d’une base documentaire. Une sélection par similarité avec la question peut laisser de côté une information formulée autrement. Transmettre tout l’historique augmente, de son côté, la quantité de texte à traiter. Les expériences comparent ces différentes stratégies avec le même modèle de langage, Qwen3-8B. Une mémoire reconstruite pour chaque question

Chaque document, par exemple une conversation ou un chapitre, est d’abord transformé en une représentation numérique par un encodeur. Cette opération n’est effectuée qu’une fois. Les représentations sont stockées et réutilisées ; ajouter un document ne nécessite pas de réencoder les précédents.

Au moment d’une question, un module appris consulte cet ensemble et produit seize représentations adaptées à la demande. Elles sont injectées directement dans les représentations d’entrée du modèle de langage, aux côtés de la question. Il ne s’agit donc pas d’un résumé rédigé que l’utilisateur pourrait lire. Le nombre d’éléments transmis reste fixe dans cette configuration, tandis que la collection stockée continue de grandir.

Les paramètres de l’encodeur et du modèle de langage restent inchangés pendant l’entraînement. Seul le module de mémoire apprend, avec environ 194 millions de paramètres dans le prototype principal. Les modules publiés sur Hugging Face sont associés à Qwen3-8B et à son encodeur Qwen3-Embedding-4B. Le dispositif exige un accès aux représentations internes du modèle et un module entraîné pour lui. Des économies sur le texte transmis au modèle

Le chiffre de 4 212 fois moins de tokens correspond au plus grand écart mesuré, sur NarrativeQA. La lecture intégrale y transmet en moyenne 67 385 tokens issus des documents, contre seize représentations de mémoire. Le calcul exclut la question et les instructions communes. Il ne décrit ni la taille totale des documents stockés ni une réduction équivalente de tous les coûts du système.

Les mesures de vitesse portent sur une configuration distincte. Avec 512 documents de 250 tokens chacun, les auteurs annoncent environ 0,74 seconde par réponse, contre 19,9 secondes en contexte intégral. Le test utilise Qwen3-8B sur un GPU H100 de 80 Go, une requête à la fois et une génération plafonnée à 32 nouveaux tokens.

La configuration logicielle compte aussi : le contexte intégral utilise YaRN pour dépasser la limite de contexte imposée au modèle, avec une génération qui ne bénéficie pas d’un cache mémoire paginé. Le facteur d’environ 27 dépend de ce montage. Le RAG n’est pas chronométré dans cette comparaison. L’encodage initial des documents reste, lui, un coût à payer avant de réutiliser la mémoire. Un agent qui exploite mieux son propre historique

Une seconde expérience porte sur TextWorld, un environnement de jeux textuels où un agent explore des pièces et accomplit une quête. Chaque tour terminé enrichit sa mémoire. Dans ce cas, le module fournit huit éléments de mémoire, au lieu de seize, et son entraînement utilise les récompenses du jeu.

Le modèle qui agit, Qwen3-4B, reste figé. Son taux moyen de réussite passe de 18,6 % avec l’historique seul à 24,2 % avec la mémoire entraînée, soit 5,6 points supplémentaires. Les deux conditions disposent du même historique et du même budget d’entrée. Ici, la mémoire s’ajoute au texte au lieu de le remplacer : l’expérience mesure ce qu’elle aide l’agent à extraire d’informations déjà disponibles. Relier les informations, au risque de perdre des détails

Sur les huit évaluations principales, la méthode arrive en tête sur cinq selon les métriques retenues par l’équipe. Dans PersonaMem-v2, consacré à la personnalisation, elle atteint 44,6 % de bonnes réponses, contre 30,9 % pour la meilleure méthode concurrente, xRAG. Ces résultats suivent un entraînement du module sur les ensembles d’entraînement des tâches évaluées ; les deux jeux de personnalisation reçoivent aussi un ajustement spécifique.

La compression peut toutefois perdre des noms et d’autres détails précis. Sur NarrativeQA, la récupération de passages reste meilleure pour certaines questions demandant d’identifier une personne ou un élément exact du récit. Les expériences portent sur du texte et des modèles de la famille Qwen. Le passage à d’autres familles de modèles ou à d’autres domaines demande encore à être évalué.

Les deux méthodes réussissent aussi des questions différentes. Sur FactKG, qui vérifie des affirmations en reliant plusieurs faits, Memorilla atteint 84,3 % de bonnes réponses et RAG-50, 78,4 %. Au moins l’une des deux donne la bonne réponse dans 94,3 % des cas. Ce dernier chiffre est une borne calculée en connaissant les bonnes réponses, pas le résultat d’un système hybride capable de choisir automatiquement la meilleure sortie.