IFM publie K2 Horizon avec ses poids, ses données et ses recettes d’entraînement

L’Institute of Foundation Models dévoile K2 Horizon, une famille de six modèles ouverts destinés aux appareils personnels, aux postes de travail et aux serveurs, avec poids Apache 2.0, contexte long, données et code d’entraînement.

Six modèles issus du même programme d’entraînement, du système compact destiné aux appareils personnels au modèle de 375 milliards de paramètres prévu pour les serveurs. Avec K2 Horizon, l’Institute of Foundation Models ne publie pas un seul modèle généraliste, mais une gamme conçue pour répartir les tâches selon les capacités et les moyens de calcul disponibles.

Présenté le 3 septembre 2026 par l’institut rattaché à la Mohamed bin Zayed University of Artificial Intelligence d’Abu Dhabi, K2 Horizon comprend des versions de 0,9, 3,7, 7, 32, 36 et 375 milliards de paramètres. Les poids sont disponibles sur Hugging Face sous licence Apache 2.0.

La famille vise surtout le raisonnement, la programmation, l’utilisation d’outils et les agents capables d’exécuter plusieurs étapes. Elle prend en charge les échanges conversationnels, les sorties de raisonnement séparées et les appels de fonctions dans un format compatible avec les interfaces OpenAI.

IFM présente cette publication comme le plus grand lancement de modèles entièrement ouverts de l’histoire de l’IA. La formule ne peut pas être vérifiée sans définir précisément ce qui constitue un lancement unique et sans comparer l’ensemble des familles déjà publiées. L’étendue des ressources annoncées reste néanmoins inhabituelle : poids finaux, points de contrôle intermédiaires, code de préentraînement et de post-entraînement, données ou méthodes de construction, journaux de suivi et résultats détaillés.

Les six noms décrivent des tailles arrondies ou centrées sur les paramètres principaux. Hugging Face affiche des volumes de tenseurs légèrement supérieurs pour certains dépôts : environ 1, 5, 9, 35, 37 et 379 milliards de paramètres. Cette différence ne signifie pas que les modèles ont changé entre l’annonce et leur publication. Elle vient de la manière dont certains composants, comme les couches d’entrée et de sortie, sont comptabilisés.

Les versions 0,9B, 3,7B, 7B et 32B utilisent une structure dense. Tous leurs paramètres participent à chaque étape de génération. Les deux plus grands modèles adoptent une organisation clairsemée de type Mixture of Experts, dans laquelle seule une partie du système est mobilisée pour chaque token.

K2 Horizon 375B-A23B stocke ainsi 375 milliards de paramètres, mais en active environ 23 milliards à chaque étape. L’objectif est de bénéficier d’une grande capacité totale sans supporter systématiquement le coût de calcul correspondant à l’ensemble du modèle.

La version 36B-A4B pousse cette logique plus loin. Elle compte 36 milliards de paramètres au total pour environ 4 milliards activés par token. IFM la présente comme une option intermédiaire pour les postes de travail et les infrastructures locales, avec des performances censées approcher celles du modèle dense de 32 milliards.

Cette version introduit une architecture appelée Mixture-of-Value Attention, ou MoVA. Les modèles à experts appliquent habituellement leur sélection aux couches chargées de traiter et de réorganiser les représentations. MoVA étend cette sélection au calcul des valeurs utilisées par le mécanisme d’attention.

Plusieurs groupes spécialisés sont disponibles, mais seuls certains sont sollicités selon le contenu traité. Le système conserve une compatibilité avec FlashAttention, l’attention groupée et les méthodes clairsemées utilisées par les outils de déploiement.

IFM indique que le 36B-A4B arrive légèrement derrière le modèle dense 32B lorsqu’ils sont entraînés dans les mêmes conditions, alors qu’il active environ huit fois moins de paramètres. Cette économie théorique ne se traduit pas automatiquement par une réduction équivalente du coût réel. Les opérations de routage, les transferts de mémoire et la prise en charge encore récente de MoVA peuvent limiter le gain selon le matériel et le moteur d’inférence.

Les quatre modèles intermédiaires de 3,7B, 7B, 32B et 36B-A4B ont été entraînés sur exactement 22 000 milliards de tokens. Ils ont utilisé les mêmes données et une méthode commune, ce qui fournit un terrain plus contrôlé pour étudier l’effet de la taille et de la structure.

La documentation parle plus largement d’environ 20 000 milliards de tokens par modèle dans la famille. Les détails publiés ne permettent pas encore de confirmer que les versions 0,9B et 375B ont suivi exactement le même volume et la même succession d’étapes que les quatre autres.

Les données mélangent contenus web, code, mathématiques, publications scientifiques, documents multilingues et sources spécialisées. IFM indique que près de 17 % du corpus de préentraînement correspond à des trajectoires de résolution contenant un raisonnement explicite.

Environ 10 000 milliards de tokens auraient été produits par les propres chaînes de génération de l’institut. Certaines trajectoires mathématiques ont été reformulées sous plusieurs formes, par exemple des dialogues ou des guides d’apprentissage, afin d’éviter qu’un même type de raisonnement reste attaché à une seule structure rédactionnelle.

La production synthétique utilise des millions de combinaisons de consignes, de paramètres de diversité et de documents récupérés dans un moteur de recherche interne construit sur le corpus web. IFM affirme que la diversité obtenue se rapproche de celle de textes web naturels de qualité, d’après une mesure de compression développée en interne.

Cette mesure ne constitue pas une évaluation extérieure de la pertinence des documents ni de l’absence de répétitions sémantiques. Un corpus peut être varié dans sa forme tout en reproduisant des erreurs, des raisonnements similaires ou des déséquilibres culturels.

Le post-entraînement ne commence pas seulement après la fin du préentraînement. Des documents longs, des instructions, des raisonnements et des trajectoires d’agents sont injectés dès une phase intermédiaire. IFM dit avoir produit plus de 100 millions de tâches distinctes à partir de classifications de problèmes, de paramètres de diversité et de recherches documentaires.

La suite comprend de l’ajustement