Un modèle compact nommé Olala pour les débuts d’OVHcloud dans les LLM

La famille Olala débute avec un modèle de 7 milliards de paramètres. Déjà utilisé par Qwant, il doit être publié sous licence Apache 2.0.

Les réponses flash du moteur de recherche Qwant utilisent déjà le premier modèle de langage de la famille Olala, développé par OVHcloud. Selon le fournisseur, ce déploiement produit des réponses 20 % plus rapides et divise les coûts de fonctionnement par trois. Le modèle remplacé n’est pas nommé et le communiqué ne détaille pas les conditions de cette comparaison.

Ce premier usage accompagne l’annonce d’Olala mini 7A1B, dont le lancement officiel est prévu le 19 novembre, lors de l’OVHcloud AI Summit. Le groupe annonce une publication sur Hugging Face sous licence Apache 2.0, avec les poids, le modèle de base préentraîné, un rapport technique et une documentation de conformité à l’AI Act. Sept milliards de paramètres, un milliard activé

La désignation 7A1B résume la distinction centrale de ce modèle : sept milliards de paramètres au total, mais un milliard activé pour traiter une requête. Son architecture comprend 256 experts par couche et associe Differential-TPA à Mamba-3. Ce fonctionnement sélectif réduit la quantité de calcul mobilisée à chaque génération, sans ramener la taille totale du modèle à un milliard de paramètres.

Pour l’exécution, le groupe annonce un débit de 160 tokens par seconde sur une carte Nvidia RTX A4500 et de 50 tokens par seconde sur processeur, sans préciser la référence de ce dernier. Il indique aussi un fonctionnement sur un GPU doté de 8 Go de mémoire. Les conditions de précision numérique et de chargement correspondant à ce seuil ne sont pas détaillées, alors que le format BF16 est mentionné pour le modèle. La fenêtre de contexte atteint 32 000 tokens, soit la quantité de texte que le système peut prendre en compte dans un même échange. Sept millions d’euros en heures de calcul publiques

L’entraînement a mobilisé trois supercalculateurs publics européens : Jupiter, MeluXina et Jean Zay. Leurs équipements cités comprennent des GPU GH200, A100 et H100. Selon OVHcloud, l’accès à ces ressources représente l’équivalent de sept millions d’euros en heures de calcul. Ce montant valorise le soutien reçu ; il ne constitue pas un budget total d’entraînement communiqué par le groupe.

Ce travail a donné naissance au laboratoire OVHai LLM. Pour Octave Klaba, directeur général d’OVHcloud, développer cette compétence répond à un besoin interne comme aux demandes des clients : disposer de modèles maison sans dépendre des décisions d’ouverture prises par d’autres laboratoires. Du poste de travail à la cybersécurité

La version 1.1 est attendue avant la fin de 2026, avec une fenêtre de contexte portée à 128 000 tokens et des améliorations annoncées en raisonnement mathématique. Il s’agit d’évolutions prévues, distinctes des capacités présentées pour la première version.

À plus long terme, les développements doivent servir les agents d’entreprise et OVHai Workspace, dont la version chiffrée nécessitera des modèles exécutables directement sur le poste de travail. Deux autres axes sont annoncés : les outils destinés aux équipes de développement et d’exploitation cloud, puis la cybersécurité défensive et offensive. Pour la version 2.0, le groupe prévoit de dépasser les 100 milliards de paramètres, sans donner de date de sortie.