Sapient Intelligence publie HRM-Text, modèle hiérarchique de 1B paramètres entraîné pour 1 000 $

Sapient Intelligence lance HRM-Text, un modèle IA de 1B paramètres entraîné pour 1 000 $ grâce à une architecture hiérarchique économe et performante.

Sapient Intelligence, jeune pousse singapourienne, publie HRM-Text, un modèle de langage à 1 milliard de paramètres distribué sous licence Apache 2.0. Le modèle s'écarte de l'architecture Transformer classique : il repose sur HRM (Hierarchical Reasoning Model), un schéma à deux modules récurrents inspiré du fonctionnement cérébral. Un module dit haut niveau (lent) prend en charge le raisonnement abstrait et la planification, tandis qu'un module bas niveau (rapide) traite les calculs détaillés. Le modèle « pense » en boucle dans un espace latent, dans une logique d'agrégation des modes System 1 et System 2.

Les chiffres d'entraînement sont aussi inhabituels que l'architecture. HRM-Text a été entraîné sur seulement 40 milliards de tokens (anglais uniquement), soit environ un millième du volume de données utilisé par des modèles comparables, en 46 heures sur 16 GPU H100, pour un coût d'environ 1 000 dollars. La version XL revendique 84,7 % sur GSM8k, 56,5 % sur MATH, 82,3 % sur DROP, 60,7 % sur MMLU, 81,9 % sur ARC-C, 63,4 % sur HellaSwag, 72,4 % sur Winogrande et 86,2 % sur BoolQ.

Il s'agit d'un pre-alignment checkpoint : aucun fine-tuning d'instruction ou de chat n'est inclus, le modèle doit être adapté par ses utilisateurs pour servir d'assistant. Le code d'entraînement, d'évaluation et de conversion est disponible sur GitHub, le checkpoint sur Hugging Face. Sapient a accompagné la sortie d'un tutoriel vidéo couvrant l'entraînement et le fine-tuning sur un seul GPU.

HRM-Text prolonge un travail entamé avec HRM, un modèle de raisonnement pur de 27 millions de paramètres qui surpassait sur certains benchmarks des modèles bien plus volumineux. L'équipe revendique l'objectif d'ouvrir l'entraînement de modèles performants au-delà des grands laboratoires.