Baseten crée un laboratoire pour prolonger la vie des modèles ouverts

Baseten lance Base Labs, une organisation de recherche consacrée à l’apprentissage continu, au post-entraînement, aux données de renforcement et à la réduction du coût des modèles open source.

Un modèle ouvert ne resterait plus figé au jour de sa publication. Il continuerait d’apprendre, recevrait de nouvelles capacités, corrigerait certains comportements et gagnerait en efficacité au fil du temps. C’est le projet de Base Labs, la nouvelle organisation de recherche créée par Baseten autour du cycle de vie complet des modèles.

Annoncé par Base Labs comme une initiative de recherche plutôt qu’un produit commercial, le laboratoire veut publier ses expériences, leurs résultats et les méthodes nécessaires pour les reproduire. Ses travaux couvriront l’apprentissage continu, la mémoire des agents, la science de l’apprentissage par renforcement, le post-entraînement, la sécurité et les performances d’inférence.

Base Labs dépend directement de Baseten, une entreprise qui fournit une infrastructure d’inférence pour déployer et faire fonctionner des modèles ouverts ou personnalisés. Cette filiation donne au laboratoire des capacités de calcul et un accès à des usages réels, mais elle brouille légèrement la séparation entre recherche désintéressée et activité industrielle.

Le laboratoire affirme ne pas chercher à vendre un produit. Ses résultats peuvent malgré tout alimenter les services de Baseten. Le programme de recherche cite explicitement l’infrastructure de l’entreprise, les tâches de ses clients et ses besoins de production comme sources d’expériences.

La frontière n’est donc pas étanche. Base Labs fonctionne comme une branche de recherche ouverte au sein d’une société commerciale, avec des travaux susceptibles de profiter simultanément à la communauté et à la plateforme qui les finance.

Le manifeste de Base Labs part d’un constat : une grande partie des connaissances nécessaires pour entraîner les modèles les plus avancés reste concentrée dans quelques laboratoires fermés. Les poids accessibles ne suffisent pas à reproduire les choix de données, les environnements de renforcement, les échecs et les ajustements qui construisent leurs capacités finales.

Base Labs promet de publier tous ses résultats, y compris les expériences négatives. L’équipe s’engage aussi à employer un langage compréhensible, à encourager la critique et à travailler sur des questions dont les résultats peuvent être réfutés.

Un quatrième principe vise les solutions présentées comme universelles. Le laboratoire affirme qu’il ne défendra aucune méthode miraculeuse avant une évaluation rigoureuse et qu’il replacera chaque conclusion dans les limites de l’expérience menée.

Cette promesse est plus exigeante qu’une publication ponctuelle de poids. Elle suppose de rendre accessibles les configurations, les données, le code, les mesures intermédiaires et les expériences qui ne produisent pas le résultat espéré. Le site ne précise pas encore sous quelles licences chaque catégorie de ressource sera distribuée.

Base Labs n’arrive pas sans travaux antérieurs. Son catalogue de recherche réunit six publications datées de mars à juillet 2026, avant l’annonce officielle du laboratoire. Elles concernent la mémoire des agents, la compression du cache KV, l’ajustement supervisé et les effets de mises à jour successives sur les connaissances d’un modèle.

L’une des principales questions porte sur l’apprentissage continu. Les modèles actuels terminent généralement leur entraînement avant leur déploiement. Ils peuvent recevoir de nouvelles informations dans une conversation ou via une base documentaire, mais leurs poids ne changent pas après chaque expérience.

Un système d’apprentissage continu chercherait à inscrire de nouvelles connaissances directement dans le modèle sans relancer un entraînement complet. Il devrait aussi éviter qu’une nouvelle modification efface ou rende inaccessible ce qui avait été appris auparavant.

Cette difficulté est connue sous le nom d’oubli catastrophique. Une mise à jour destinée à enseigner un nouveau fait peut modifier les chemins utilisés pour retrouver des connaissances plus anciennes. Le contenu n’est pas nécessairement supprimé des poids, mais les questions qui permettaient d’y accéder cessent de conduire vers la bonne réponse.

Dans une étude intitulée Can a Language Model Learn Facts Continually in Its Weights?, Base Labs injecte des faits inventés dans des modèles Qwen3, puis applique entre vingt et cent mises à jour supplémentaires.

Un apprentissage fondé sur une phrase isolée produit surtout de la récitation. Lorsque le même fait est enseigné sous plusieurs formulations, le modèle le réutilise mieux dans des questions différentes. Après vingt écritures successives, les faits appris à partir d’une seule phrase ne conservent qu’environ 1 % de précision, contre 46 % pour ceux présentés sous des formes variées.

Les chercheurs observent aussi que certaines informations semblent oubliées sans avoir totalement disparu. Une fois replacé dans la conversation, un fait devenu inaccessible depuis les poids permet au modèle de retrouver entre 77 et 80 % de bonnes réponses.

L’étude conclut que le contexte demeure un canal plus fiable que les poids lorsque les connaissances doivent survivre à plusieurs mises à jour. Base Labs ne présente donc pas encore une solution fonctionnelle à l’apprentissage continu. Ses propres résultats montrent au contraire la résistance du problème.

La mémoire des agents forme une seconde piste. Lors d’une longue session, un modèle conserve les informations précédentes dans un cache KV. La taille de cette mémoire augmente avec la conversation et finit par peser sur le coût, la vitesse et la quantité de travail pouvant être poursuivie.

Le laboratoire cherche à compresser cette mémoire sans la convertir uniquement en résumé textuel. Le système doit conserver ce qui reste utile, écarter les détails devenus secondaires et fournir au modèle un état réutilisable durant les étapes suivantes.

Dans Still: Amortized KV Cache Compaction in a Single Forward Pass, l’équipe présente un petit module ajouté à chaque couche d’un modèle. Il condense les clés et les valeurs du cache en une seule passe, sans lancer une