Sur vingt codes cachés dans des rapports financiers, Manta en retrouve dix-huit

Le laboratoire Empero annonce une fenêtre de 100 millions de tokens pour Manta. Son plus long essai publié porte sur des codes cachés dans des rapports financiers.

Le code du bureau de Lyon figure dans une note placée au début d’un corpus de 88 millions de tokens. Manta le retrouve quand on lui demande le code de Lyon, puis le donne aussi pour Perth et Rotterdam. Ce sont ses deux erreurs sur vingt questions dans le journal de l’essai publié par Empero. Dans les deux cas, le modèle restitue une chaîne présente dans le corpus et l’attribue au mauvais bureau. Vingt codes répartis dans 1 269 documents

Le protocole déposé sur GitHub décrit un corpus constitué de 1 269 dépôts d’entreprises du S&P 500 auprès de la SEC américaine, dont des rapports annuels et trimestriels. Empero les a convertis en texte brut et a inséré de courtes notes fictives à intervalles réguliers, entre 5 % et 95 % de la longueur du contexte. Chaque note associe un bureau à un code unique. Les questions sont posées une à une après le corpus, et une réponse est comptée comme juste si elle contient le code exact. Le score porte donc sur vingt recherches séparées, chacune avec une cible nommée dans la question.

À environ 10,5 millions de tokens, Manta retrouve 17 des 20 mêmes codes en une réponse par question. Avec trois réponses échantillonnées et un succès compté dès que l’une d’elles contient le bon code, le score passe à 18 sur 20. Un troisième essai, à la même longueur, porte sur 50 notes et introduit des noms de bureaux et des codes qui se ressemblent. Manta en retrouve 43. Empero précise avoir retenu un réglage après avoir examiné les résultats de cet essai à 50 codes, puis avoir effectué celui à 88 millions de tokens comme vérification supplémentaire.

Dans les réponses publiées pour les trois essais, les douze erreurs en une seule réponse ont la même forme. Le code renvoyé appartient toujours à une autre note du corpus. Dans l’essai à 50 codes, le modèle donne par exemple celui de Marseille quand on lui demande celui de Bordeaux. Pour une recherche documentaire, la distinction compte. Une citation ou un chiffre peuvent être reproduits à l’identique et se rapporter au mauvais dossier. Une fenêtre annoncée au-delà du test publié

Dans son annonce, Empero indique que Manta peut recevoir 100 millions de tokens dans une seule requête. L’essai le plus long documenté porte sur 88 millions. Les fichiers publics contiennent le texte du corpus, les emplacements des notes et les réponses enregistrées. Ils permettent de reconstruire les entrées et de recompter les résultats. Pour mesurer ce que le modèle peut faire avec autant de texte, il faudrait aussi lui demander de relier des passages éloignés ou d’agréger des données dispersées. C’est la distinction que formalise le protocole RULER, qui évalue séparément la recherche, le recoupement et l’agrégation.

Empero prévoit une interface compatible avec l’API d’OpenAI et a ouvert une liste d’attente pour un accès sur sélection. Les premiers utilisateurs peuvent donner leur avis sur le modèle, tandis que la diffusion de réponses, de prompts, de captures d’écran ou de mesures requiert l’accord d’Empero jusqu’à la sortie publique. Le laboratoire indique travailler ensuite sur un contexte d’un milliard de tokens par requête.