Meta publie en open-weight Muse Spark Open
Meta publie Muse Spark Open, un modèle multimodal de 816 milliards de paramètres, conçu pour le code et les agents IA, avec un million de tokens de contexte.
816 milliards de paramètres, un million de tokens de contexte et la capacité d'analyser du texte, des images, des vidéos et des enregistrements audio dans un même environnement. Muse Spark Open devient le nouveau modèle à poids ouverts de Meta, destiné principalement au développement logiciel et aux agents autonomes. Le groupe publie deux versions téléchargeables et accompagne cette sortie d'intégrations avec Hugging Face, les outils d'inférence et l'écosystème Apple. Une ouverture qui concerne un modèle de grande taille, dont l'exécution locale nécessite toutefois des équipements disposant de plusieurs centaines de gigaoctets de mémoire. 816 milliards de paramètres, mais 42 milliards actifs
Muse Spark Open repose sur une architecture Mixture-of-Experts (MoE). Contrairement à un modèle dense qui mobilise l'ensemble de ses paramètres, il sélectionne une partie de ses composants pour chaque token traité.
Le modèle compte environ 816 milliards de paramètres au total, dont 42 milliards actifs par token. Chaque bloc MoE comprend 256 experts, parmi lesquels huit sont sélectionnés pendant le traitement.
Cette organisation réduit la quantité de calcul nécessaire à la génération, sans supprimer les contraintes liées au stockage du modèle complet en mémoire.
Les experts représentent environ 97 % des paramètres. La partie linguistique comporte 62 couches, complétées par des modules de perception visuelle et de traitement audio.
Muse Spark Open succède notamment à Muse Glimmer, un modèle plus compact de la même famille publié en août. Les deux partagent un système de tokenisation et certaines caractéristiques de traitement multimodal, mais Muse Spark Open adopte une architecture beaucoup plus volumineuse. Un million de tokens pour les tâches prolongées
La fenêtre de contexte atteint 1 048 576 tokens, en réunissant les informations textuelles et les représentations des contenus visuels et sonores.
Cette capacité vise les opérations où un agent doit conserver une quantité importante d'informations pendant son travail : consultation d'un vaste dépôt logiciel, analyse de nombreux documents, historique d'appels à des outils ou exploration d'un projet nécessitant plusieurs cycles de correction.
Meta a particulièrement entraîné Muse Spark Open pour le développement logiciel. Le modèle peut examiner un projet, proposer des modifications, écrire du code, exécuter des outils et réviser son travail à partir des résultats obtenus.
Il dispose également de plusieurs niveaux d'effort de raisonnement, de low à xhigh, permettant d'adapter les ressources de génération à la complexité des demandes. Le raisonnement ne peut toutefois pas être complètement désactivé.
La capacité maximale de contexte reste dépendante de l'infrastructure utilisée. Certaines configurations publiées pour vLLM limitent notamment les sessions à 131 072 tokens, même si le modèle prend théoriquement en charge un million de tokens. Images, vidéos et audio dans un même modèle
Muse Spark Open accepte quatre modalités d'entrée : texte, image, vidéo et audio. Ses réponses sont produites sous forme textuelle.
Un encodeur visuel d'environ 1,8 milliard de paramètres transforme les images en représentations utilisables par le modèle linguistique. Il sert également au traitement des images extraites des vidéos.
Par défaut, les vidéos sont échantillonnées à deux images par seconde, avec une limite de 96 images. Ce réglage peut être modifié selon les besoins et les ressources disponibles.
Le traitement audio repose sur un encodeur capable de produire une représentation toutes les 80 millisecondes, soit 12,5 unités audio par seconde.
Ces informations peuvent être combinées dans une même conversation. Un agent peut ainsi examiner une capture d'écran, écouter une instruction vocale, analyser un enregistrement de navigation et utiliser ces éléments pour poursuivre une tâche informatique.
Cette multimodalité concerne la compréhension des contenus. Muse Spark Open ne génère pas directement d'images, de vidéos ou de fichiers audio. Un modèle géant sur les ordinateurs Apple
L'une des particularités du lancement concerne les optimisations réalisées avec Apple pour exécuter Muse Spark Open sur des machines équipées d'Apple Silicon.
Meta annonce notamment une configuration reposant sur deux Mac Studio M5 Ultra, avec des adaptations du framework MLX. <Cite ref="turn624395search1"/>
Hugging Face documente également plusieurs expérimentations sur des machines Apple disposant d'une mémoire unifiée importante.
Une version quantifiée sur deux bits a été testée avec llama.cpp sur un Mac M3 Ultra équipé de 512 Go de mémoire. Elle occupe environ 304 Go et atteint 18 tokens générés par seconde dans les conditions annoncées.
Une autre adaptation en trois bits, destinée à oMLX, utilise environ 344 Go et atteint 21 tokens par seconde sur la même catégorie de machine.
Ces résultats montrent que l'exécution locale n'est pas réservée exclusivement aux serveurs GPU traditionnels. Ils ne signifient cependant pas que Muse Spark Open peut fonctionner sur un ordinateur grand public ordinaire.
La mémoire disponible reste déterminante, en particulier pour les longues fenêtres de contexte, qui ajoutent une consommation importante aux besoins du modèle. Deux checkpoints et plusieurs infrastructures compatibles
Meta publie deux versions principales de Muse Spark Open sur Hugging Face.
La version BF16 conserve une précision numérique élevée. Ses fichiers représentent environ 1,5 To et les exemples de déploiement reposent sur des configurations distribuées, notamment 32 GPU NVIDIA H200.
La version NVFP4 utilise une représentation numérique plus compacte, adaptée aux GPU NVIDIA Blackwell. Elle vise à réduire la mémoire nécessaire à l'inférence, avec un compromis annoncé comme limité sur la précision.
La documentation présente des possibilités d'exécution avec Transformers, llama.cpp, SGLang, vLLM et MLX.
Les fonctionnalités prises en charge varient selon les moteurs. L'intégration SGLang couvre le texte, les images,