Un modèle téléchargeable dont la licence exclut l’Union européenne

Le modèle ERNIE 5.5 Flash Base de Baidu est publié pour être adapté à d’autres usages. Sa licence exclut l’Union européenne, dont la France.

Les paramètres d’ERNIE 5.5 Flash Base sont disponibles au téléchargement, mais leur publication ne vaut pas autorisation d’usage partout. La licence jointe aux fichiers exclut l’Union européenne, le Royaume-Uni et la Corée du Sud. Cette restriction territoriale concerne le modèle, ses dérivés et leurs productions.

La sortie offre un point de départ aux équipes qui souhaitent poursuivre l’entraînement d’un modèle déjà préentraîné. Les fichiers publiés sur Hugging Face correspondent à une version « Base », textuelle, de 280 milliards de paramètres au total, dont 14 milliards activés par token. La version postentraînée d’ERNIE 5.5 Flash est annoncée pour plus tard. Une ouverture assortie de conditions d’utilisation

La diffusion relève d’open weights sous licence restrictive. Dans les territoires autorisés, l’usage commercial reste sans redevance jusqu’à 50 millions de dollars de revenus annuels liés aux produits ou services concernés, sous réserve d’une notification et de la mention « Powered by ERNIE ». Au-dessus de ce seuil, une autorisation écrite préalable est requise.

Le contrat interdit aussi d’utiliser le modèle ou ses sorties pour améliorer d’autres IA, sauf le modèle lui-même et ses dérivés conformes au contrat. Une base à adapter, avant l’assistant

L’intérêt de cette publication tient au stade auquel elle intervient. Le modèle sort du préentraînement, sans entraînement intermédiaire ni postentraînement. Les équipes peuvent travailler à son adaptation à un domaine ou à son apprentissage du suivi d’instructions. Il ne s’agit pas encore de l’assistant conversationnel complet annoncé par Baidu.

Le préentraînement a porté sur 33 500 milliards de tokens, avec des séquences atteignant 128 000 tokens. La configuration publiée autorise jusqu’à un million de tokens pour l’inférence et les entraînements ultérieurs. Ces deux valeurs décrivent des étapes différentes : la capacité maximale annoncée ne correspond pas à la longueur utilisée pendant le préentraînement.

Les poids sont proposés en FP8 et en BF16, deux formats de précision numérique qui influent sur la mémoire nécessaire. Le guide de déploiement vLLM prévoit, par exemple, huit GPU H100 de 80 Go pour sa configuration FP8. Les 14 milliards de paramètres actifs décrivent la part mobilisée dans le calcul, pas la taille de tous les poids à héberger. Garder le contexte sans tout conserver au même niveau de détail

La gestion de la mémoire occupe une place centrale dans le billet technique. Sur les 43 couches du modèle, 37 conservent un historique fortement compressé, avec une entrée mémorisée pour 128 tokens. Les six autres gardent un accès plus détaillé aux tokens anciens et sélectionnent les positions utiles au calcul. La mémoire disponible est ainsi concentrée sur une petite partie des couches pour retrouver des informations éloignées.

La sélection des experts est également revue. Plusieurs mécanismes d’aiguillage évaluent ensemble les sous-réseaux à solliciter, plutôt qu’un seul décideur. Selon les essais de Baidu, cette organisation améliore le choix des experts sans augmenter leur nombre actif ni le volume de calcul qui leur est consacré. Le gain revendiqué porte sur la sélection, sans activation de l’ensemble des 280 milliards de paramètres.

Une troisième modification, appelée ECHO, réutilise la dernière couche pour apprendre à anticiper des tokens supplémentaires. Cette couche sert aussi à proposer une ébauche de la suite du texte dans le décodage spéculatif, avant vérification. La méthode vise à accélérer la génération sans recourir à un modèle de brouillon séparé. Ces mécanismes décrivent les choix d’efficacité de l’architecture ; ils ne donnent pas, à eux seuls, un coût d’exploitation pour une application donnée. Des scores comparés à ceux d’autres modèles de base

Les évaluations publiées opposent cette version à DeepSeek V4 Flash Base, Hy3 preview Base et MiMo V2.5 Base, de dimensions voisines. Les quatre modèles sont testés par Baidu dans le même dispositif, avec les mêmes consignes et exemples pour chaque épreuve. La comparaison porte sur des versions de base, avant les étapes qui façonnent le comportement d’un assistant.

Sur HumanEval+, consacré au code, le score annoncé atteint 82,3, contre 69,5 pour DeepSeek V4 Flash Base. Le tableau ne donne cependant pas l’avantage à ERNIE sur toutes les épreuves : sur FullStackBench, il obtient 54,6, derrière les 56,7 de Hy3 preview Base. Les résultats proviennent de l’équipe qui publie le modèle et ne constituent pas une validation indépendante de supériorité générale.

Le corpus de code décrit par les chercheurs comprend aussi l’évolution de projets : modifications successives, signalements de problèmes, revues de code et correctifs vérifiés par des tests automatisés. Le préentraînement intègre donc des traces du travail sur un dépôt logiciel, en complément des fichiers de code eux-mêmes.