Halcyon remet en question le préentraînement linguistique des modèles d'image
Radical Numerics présente Halcyon, une famille de modèles de génération d'images entraînés sans préentraînement linguistique, avec jusqu'à 275 fois moins de calcul.
Faut-il apprendre à une intelligence artificielle à comprendre le langage avant de lui apprendre à générer des images ? Avec Halcyon, Radical Numerics remet en question cette méthode largement utilisée dans les systèmes de génération visuelle. Le laboratoire présente une famille de modèles multimodaux entraînés directement sur 100 millions de paires image-texte, sans passer par un modèle de langage préentraîné. Dans ses comparaisons, Halcyon surpasse plusieurs architectures de référence avec jusqu'à 275 fois moins de ressources de calcul consacrées au préentraînement. Les chercheurs publient également dix modèles et leurs méthodes d'entraînement. Générer des images sans préentraîner un modèle de langage
La plupart des systèmes modernes de génération d'images utilisent des connaissances linguistiques acquises avant leur entraînement visuel.
Une méthode courante consiste à employer un encodeur de texte préentraîné pour interpréter les instructions de l'utilisateur, puis à transmettre ses représentations à un modèle chargé de produire l'image.
Cette organisation, appelée late fusion, sépare initialement le traitement du langage de celui des images.
D'autres architectures combinent plus tôt les deux modalités, mais conservent une phase préalable d'entraînement sur de grandes quantités de texte.
Halcyon supprime cette étape de préentraînement linguistique.
Les modèles sont entraînés depuis leur initialisation sur des associations entre images et descriptions. Ils apprennent simultanément à traiter les informations textuelles et visuelles, sans dépendre des connaissances d'un modèle de langage déjà constitué.
La recherche porte donc sur une question précise : quelle part des ressources habituellement investies dans l'apprentissage du langage est réellement nécessaire pour obtenir un générateur d'images performant ? Une architecture commune pour le texte et les images
Halcyon repose sur un Transformer autorégressif utilisant une architecture de type decoder-only.
Le texte et les images sont représentés dans une séquence commune de tokens, que le modèle apprend à prédire progressivement.
Cette approche est appelée early fusion, car les différentes modalités sont intégrées directement dans le même système plutôt que traitées par deux modèles indépendants.
Chaque image de 256 × 256 est convertie en une grille de 1 024 tokens visuels, issus d'un vocabulaire de 64 000 codes.
Le texte dispose de son propre système de découpage, comprenant 16 384 unités. Les informations textuelles, visuelles et les marqueurs spéciaux sont ensuite réunis dans un vocabulaire partagé de 80 640 entrées.
Halcyon utilise une architecture inspirée de Qwen3, mais les paramètres sont initialisés aléatoirement. Le laboratoire ne récupère donc pas les poids linguistiques déjà entraînés de Qwen3.
L'encodeur visuel, le système de représentation du texte et le modèle génératif sont développés dans le cadre du même programme d'entraînement. Cent millions de paires image-texte pour une comparaison contrôlée
Les chercheurs ont entraîné cinq tailles de modèles Halcyon, comprises entre 100 millions et 4 milliards de paramètres, à partir du corpus GPIC.
Chaque modèle parcourt une fois les 100 millions de paires image-texte, avec des images ramenées à une définition de 256 × 256.
Le protocole comprend 97 632 étapes d'entraînement, avec des lots de 1 024 exemples.
Pour comparer Halcyon à d'autres approches, Radical Numerics a également réentraîné plusieurs variantes de LlamaGen et JiT-T2I sur ce même ensemble de données.
Cette précaution permet de limiter un problème fréquent dans les évaluations : comparer des modèles qui ont été entraînés sur des corpus différents, puis attribuer les écarts de performance à leur seule architecture.
Les chercheurs ont notamment adapté les modèles concurrents pour harmoniser la longueur des représentations visuelles et certaines méthodes d'entraînement.
Le coût total retenu dans les comparaisons inclut l'entraînement du composant linguistique, du système de représentation des images et du générateur lui-même.
Cette comptabilisation est essentielle pour interpréter les différences annoncées. Jusqu'à 275 fois moins de calcul dans les expériences
Radical Numerics compare les modèles à l'aide du score gFD, qui mesure la proximité statistique entre les images générées et celles d'un ensemble de référence. Plus ce score est faible, meilleur est le résultat.
Halcyon-0.52B obtient un score de 48,0 contre 63,3 pour LlamaGen-XL/8, avec un coût total de préentraînement annoncé 18,2 fois inférieur.
La différence est encore plus importante dans une autre comparaison : Halcyon-1.6B atteint 35,3 contre 41,0 pour JiT-T2I-XXL/8++, avec 275 fois moins de calcul consacré au préentraînement.
Ce facteur prend en compte les ressources utilisées pour entraîner préalablement le modèle de langage Qwen3 exploité par JiT-T2I.
Il ne signifie donc pas que chaque opération de génération est 275 fois plus rapide ou moins coûteuse.
Le résultat ne constitue pas non plus une comparaison directe avec tous les modèles commerciaux récents. Les expériences portent sur des architectures précises, entraînées ou adaptées dans un protocole commun. Des résultats également supérieurs sur le respect des instructions
La qualité statistique des images ne suffit pas pour évaluer leur utilité. Un modèle peut produire des images visuellement plausibles tout en respectant imparfaitement la demande initiale.
Radical Numerics a donc utilisé deux évaluations supplémentaires.
GenEval examine notamment la capacité à respecter le nombre d'objets, leurs couleurs et leurs positions.
DPG-Bench mesure le suivi de descriptions plus longues et détaillées.
Sur GenEval, Halcyon-0.52B atteint 44,91 contre 30,48 pour LlamaGen-XL/8. Sur DPG-Bench, les scores sont respectivement de 76,84 et 67,08.
Face à JiT-T2I-XXL/8++, Halcyon-0.52B obtient également un meilleur résultat sur GenEval, avec 44,91 contre 43,17, et un score presque identique sur DPG-Bench, avec 76,84 contre 76,85.
La version Halcyon-1.6B