Que faut-il garder d’une ancienne conversation ? Le test de mémoire de Muse

Les nouveaux modèles de Muse et Meta AI sont entraînés à retrouver les informations encore utiles et à poursuivre une tâche quand un imprévu survient.

Reprendre un projet plusieurs jours après en avoir parlé suppose de retrouver les bonnes consignes et de tenir compte de ce qui a changé entre-temps. C’est l’un des comportements que Meta a travaillés dans les nouveaux modèles qu’il déploie dans Muse et Meta AI. Le groupe a utilisé sa famille Muse Wonder pour entraîner des versions spécialisées des modèles qui équipent déjà ses deux assistants.

En octobre, la présentation de Muse Wonder prévoyait une arrivée dans Muse d’abord pour les abonnés. Le déploiement du 6 novembre élargit l’accès à deux capacités issues de cette famille. Active Memory aide l’assistant à déterminer quelles informations reprendre. Active Focus l’entraîne à poursuivre une tâche quand une étape bloque ou que la demande évolue. Une préférence qui dure, une consigne qui expire

Pour préparer un nouveau séjour, une préférence de voyage exprimée le mois dernier peut rester utile. Les dates de l’ancien séjour, elles, ont peu de chances de s’appliquer. Active Memory vise à faire ce tri. Pour évaluer cette capacité, la fiche technique de Muse Wonder décrit un test qui mêle de longues conversations, des échanges sans rapport avec la demande et des informations corrigées en cours de route.

Dans l’évaluation publiée pour Muse, les nouveaux modèles utilisent correctement les informations indispensables dans 90 % des tâches, contre 76 % auparavant. La part des tâches où ce contexte est mal exploité passe donc de 24 % à 10 %. C’est ce rapport qui correspond à la baisse des oublis d’un facteur de 2,4 mise en avant par Meta. Continuer quand une étape bloque

Une contrainte qui change peut rendre inutile une partie du travail déjà engagé. Dans Muse, Active Focus vise à reprendre la tâche à partir de la nouvelle consigne, à chercher une autre voie ou à demander une précision. Meta rapporte un gain relatif de 67 % dans l’achèvement de tâches du quotidien où survient un imprévu. Pour Meta AI, le groupe décrit surtout des effets au fil de l’échange, comme poser des questions de suivi plus précises ou ajuster le découpage d’un problème quand la demande évolue.

Le score de Muse passe aussi de 38 % à 47 % sur le Personal Superintelligence Index. Cet indice interne regroupe sept évaluations, dont des exercices de recherche sur le web, des tâches professionnelles et FocusBench. Ce dernier examine si un agent parvient à franchir plusieurs obstacles et à s’adapter aux changements qui surviennent au fil d’une même tâche.