Carbon-X : Hugging Face entraîne un modèle IA à comprendre l'ADN et à expliquer les mutations

Hugging Face publie Carbon-X, un modèle IA ouvert de 14 milliards de paramètres entraîné sur l'ADN et le langage pour analyser les mutations génétiques.

Un modèle de langage peut expliquer le fonctionnement d'un gène à partir de publications scientifiques sans être capable d'interpréter directement sa séquence d'ADN. Cette différence entre connaissances biologiques et compréhension des données génomiques est au centre de Carbon-X, un modèle ouvert développé par Hugging Face et plusieurs partenaires scientifiques. Fondé sur Qwen3-14B, il a bénéficié d'un entraînement supplémentaire sur 300 milliards de tokens mêlant séquences génétiques, littérature biologique et anglais courant. Les chercheurs peuvent lui soumettre une séquence, l'interroger sur les conséquences possibles d'une mutation ou lui demander de compléter une portion d'ADN. Sur cinq évaluations spécialisées, Carbon-X atteint un score moyen de 66,7 %, contre 67,5 % pour GPT-6.1 Sol, avec un coût d'inférence estimé environ 1 800 fois inférieur. Réunir deux langages dans un même modèle

Les modèles génomiques apprennent à reconnaître des motifs présents dans l'ADN, notamment ceux associés aux régions régulatrices ou aux variations génétiques. Ils peuvent estimer les propriétés d'une séquence, mais ne disposent pas nécessairement des capacités conversationnelles permettant de justifier leurs prédictions. À l'inverse, les grands modèles de langage ont accès, pendant leur entraînement, à de nombreuses connaissances de biologie décrites dans des articles, sans pour autant être particulièrement adaptés au traitement direct de longues chaînes de nucléotides.

L'équipe de Carbon-X a cherché à rapprocher ces deux capacités dans une seule architecture. Le modèle conserve le fonctionnement général de Qwen3-14B, mais apprend à traiter les séquences d'ADN et le langage naturel dans un flux commun. Il peut ainsi recevoir une question rédigée en anglais contenant une séquence génétique et produire une réponse associant explications textuelles et informations sur cette séquence.

La démarche s'inscrit dans la continuité de Carbon-3B, un précédent modèle génomique de Hugging Face, et des recherches sur les systèmes associant langage et biologie. Certains travaux antérieurs utilisaient un encodeur spécialisé pour l'ADN connecté à un modèle de langage chargé de produire les explications. Carbon-X regroupe ces fonctions dans un seul modèle, sans encodeur génomique indépendant.

Le projet résulte d'une collaboration entre les équipes de Hugging Face, de la Zhongguancun Academy et du Telethon Institute of Genetics and Medicine, associé à l'Université de Naples Federico II. Un vocabulaire adapté aux séquences génétiques

L'ADN repose sur quatre bases, A, C, G et T, dont l'organisation porte une partie des informations biologiques. Les tokenizers des modèles de langage généralistes ne sont pas conçus spécifiquement pour ces séquences. Ils peuvent découper une chaîne génétique en fragments irréguliers et consommer une quantité importante de tokens pour représenter une information relativement compacte.

Carbon-X utilise un tokenizer hybride. Le texte conserve la tokenisation BPE de Qwen3, tandis que les séquences génétiques sont découpées en groupes de six bases, appelés 6-mers. Les chercheurs ont ajouté 4 096 combinaisons de six nucléotides au vocabulaire, ainsi que des marqueurs permettant de distinguer les portions d'ADN du langage courant.

Cette représentation réduit la quantité de tokens nécessaires pour encoder les séquences génétiques. Selon l'équipe, elle utilise environ trois fois moins de tokens que le tokenizer textuel initial pour les données d'ADN. Elle permet surtout au modèle d'apprendre des représentations spécifiques aux structures génomiques tout en conservant la possibilité de répondre dans une langue naturelle.

L'entraînement a nécessité un équilibre entre ces deux domaines. Des expériences sur des modèles plus petits avaient montré qu'un apprentissage trop rapide de l'ADN pouvait détériorer les capacités linguistiques. Les chercheurs ont donc adapté le taux d'apprentissage et prolongé l'entraînement de Qwen3-14B sur un corpus combinant séquences génomiques, textes de biologie et anglais général. Pourquoi l'entraînement sur l'ADN change les résultats

L'équipe a ensuite utilisé un entraînement supervisé et de l'apprentissage par renforcement pour améliorer la capacité du modèle à répondre à des questions biologiques. Les premières tentatives ont fait apparaître une difficulté : un modèle pouvait obtenir de meilleurs résultats sur certains tests tout en inventant des références à des bases de données ou en attribuant une séquence au mauvais gène.

Pour réduire ces erreurs, les chercheurs ont développé avec des spécialistes du domaine des mécanismes de vérification déterministes, capables de contrôler certaines affirmations à partir de la séquence fournie. Ces vérifications ont servi à construire des exemples d'entraînement mieux ancrés dans les données, avant une phase de renforcement utilisant des récompenses associées à des réponses vérifiables.

Les résultats montrent également l'importance de l'entraînement intermédiaire sur l'ADN, appelé midtraining. Sur FrontierVEP, une évaluation consacrée aux effets de certaines variations génétiques, l'apprentissage par renforcement appliqué directement à Qwen3-14B ne dépassait pas le niveau du hasard, situé à 50 % dans le protocole concerné. Lorsque le même apprentissage était appliqué à un modèle préalablement entraîné sur des séquences génétiques, ses performances progressaient au-delà de ce seuil.

Cette expérience indique qu'un raisonnement supplémentaire ne compense pas nécessairement l'absence de représentations adaptées aux données étudiées. Le modèle doit d'abord apprendre à traiter l'ADN avant de pouvoir exploiter efficacement ses capacités générales de raisonnement sur ce domaine. Des résultats proches de GPT-6.1 Sol sur cinq évaluations

Les auteurs ont comparé Carbon-X à plusieurs modèles généralistes sur cinq benchmarks consacrés à la compréhension des séquences, aux effets de mutations et à la prédiction de nucléotides. Avec son raisonnement étendu