Fern peut lire un demi-million de lignes de code dans une seule fenêtre de contexte

Avec Fern, Mirendil développe un modèle de langage capable de traiter jusqu'à 10 millions de tokens, pour analyser du code et de longues traces d'agents IA.

Un dépôt logiciel entier, plusieurs journées d'activité d'un agent ou des milliers de pages de journaux techniques réunis dans une seule fenêtre de contexte. Avec Fern, son premier modèle de langage, le laboratoire Mirendil explore une approche de l'intelligence artificielle dans laquelle l'augmentation de la quantité d'informations accessibles au modèle compte autant que sa taille. Son architecture prend en charge jusqu'à 10 millions de tokens, soit environ 23 Mo de code ou un demi-million de lignes, sans avoir à découper ces informations en conversations distinctes.

Entraîné depuis zéro, le modèle a reçu une première phase relativement courte de post-entraînement sous le nom de Fern 0.1. Il est destiné aux tâches agentiques impliquant de vastes bases de code, des historiques d'exécution et des documents techniques volumineux. Mirendil présente également deux modèles de plus grande taille, toujours en cours d'entraînement, mais aucun de ces systèmes n'est encore accessible publiquement. Miser sur le contexte plutôt que sur la seule taille des modèles

La progression des modèles de langage est souvent présentée à travers leur nombre de paramètres, leurs résultats aux benchmarks ou leur capacité à raisonner plus longtemps. Mirendil propose d'accorder une importance comparable à une autre dimension : la quantité d'informations qu'un modèle peut consulter simultanément.

Une fenêtre de contexte étendue permet de conserver davantage d'éléments propres à une tâche. Pour un agent de développement logiciel, cela peut inclure plusieurs composants d'un dépôt, leurs dépendances, les instructions de l'utilisateur, les résultats des tests et les différentes modifications déjà effectuées. Dans un travail d'analyse, elle peut aussi réunir des journaux d'exécution, des traces d'autres agents ou de grands ensembles de données textuelles.

Fern a été conçu pour atteindre 10 millions de tokens de contexte, une capacité que Mirendil rapproche de celle nécessaire à la lecture d'un projet logiciel de la taille de Megatron-LM. Cette fenêtre représente également plusieurs dizaines, voire plusieurs centaines de traces complètes d'agents, selon leur longueur.

L'intérêt d'une telle capacité dépend cependant de l'usage réel des informations. Un modèle peut accepter plusieurs millions de tokens sans parvenir à retrouver correctement un détail, à établir des relations entre des éléments éloignés ou à exploiter l'ensemble du contenu avec la même précision. Des prédictions qui continuent de s'améliorer à très longue distance

Pour examiner si Fern utilise réellement cette capacité, les chercheurs ont mesuré sa performance dans la prédiction de code sur une série de dépôts logiciels. Le protocole consiste à présenter progressivement davantage de contexte au modèle, puis à mesurer la précision avec laquelle il prédit la suite du texte.

Les résultats sont exprimés en bits par octet, une mesure qui permet de comparer des modèles utilisant des tokenizers différents. Plus la valeur est faible, meilleure est la prédiction.

Dans les évaluations publiées, les performances de Fern continuent de progresser à mesure que le contexte augmente, jusqu'à une fenêtre d'environ 10,2 millions de tokens. Mirendil compare cette évolution à celle de plusieurs modèles, notamment Kimi K3, GLM-5.3, DeepSeek-V4-Pro-Base, Nemotron 3 Ultra Base, Beam et Inkling. Ces derniers sont testés sur des fenêtres proches du million de tokens, correspondant à leurs capacités annoncées ou à des limites voisines.

La comparaison porte ici sur la prédiction statistique de code, et non sur la réussite d'une tâche complète de programmation. Elle indique que le contexte supplémentaire reste exploitable pour améliorer la prédiction locale, mais ne suffit pas à démontrer qu'un agent saura raisonner correctement sur dix millions de tokens. Retrouver une information n'est pas la même chose que raisonner dessus

Mirendil a également évalué son modèle de base avec RULER, un benchmark conçu pour tester différentes capacités de traitement de longues séquences. Les résultats montrent une différence nette entre la recherche d'informations et les tâches qui demandent davantage de raisonnement.

Dans le test consistant à retrouver une information unique dissimulée dans un long contexte, Fern maintient 100 % de précision jusqu'à 10 millions de tokens. Il obtient également 100 % sur une tâche consistant à retrouver l'ensemble de plusieurs informations dispersées.

D'autres exercices révèlent davantage de difficultés. La recherche associant plusieurs clés à plusieurs valeurs atteint 90 % à dix millions de tokens, tandis que le suivi de variables fluctue selon la longueur du contexte. Sur une épreuve de questions-réponses nécessitant plusieurs étapes de raisonnement, fondée sur HotpotQA, la précision passe de 65 % à 32 000 tokens à 45 % à dix millions.

Ces chiffres reposent sur des séries de 100 exemples par configuration, réduites à 20 exemples pour la fenêtre de dix millions de tokens. Les résultats aux très grandes longueurs doivent donc être interprétés en tenant compte de cette taille d'échantillon.

L'ensemble montre que Fern peut retrouver des éléments dans un contexte extrêmement étendu, mais que l'exploitation de ces informations pour résoudre des questions complexes reste plus difficile. La capacité mémoire et la qualité du raisonnement ne progressent pas nécessairement au même rythme. Des résultats encore inégaux sur les benchmarks de programmation

La première version post-entraînée, Fern 0.1, a également été testée sur plusieurs évaluations d'agents de programmation. Ses performances sont encourageantes sur certains exercices, mais restent éloignées des modèles les plus performants du marché.

Sur DeepSWE v1.1, Fern 0.1 obtient 44,2 %, devant Beam à 43,3 %, mais derrière Kimi K3 à 67,3 % et Claude Opus 5.5 à 74,2 %. Sur SWE Atlas QnA, le modèle atteint 53,2 %, un résultat supérieur à ceux de Beam, Inkling et Nemotron 3 Ultra dans le tableau publié par Mirendil.

Les écarts deviennent plus