Un modèle de 27 milliards de paramètres tient enfin dans un téléphone

Le modèle Bonsai 27B de PrismML tient sur un iPhone grâce à une compression extrême. Une avancée majeure pour exécuter des agents locaux sans frais.

PrismML fait passer un modèle de la classe des 27 milliards de paramètres sur un téléphone, ce qui n'avait jamais été fait. Bonsai 27B, adossé à Qwen3.6 27B, est publié en open source sous licence Apache 2.0.

L'obstacle était arithmétique. Un modèle de cette taille occupe environ 54 gigaoctets en précision 16 bits, et même une bonne compression en 4 bits laisse une empreinte d'une vingtaine de gigaoctets, hors de portée d'un téléphone comme de la plupart des ordinateurs portables. La méthode de PrismML consiste à réduire chaque poids à des valeurs extrêmes. La version ternaire n'autorise que trois valeurs (moins un, zéro, plus un), soit 1,71 bit effectif par poids, pour un fichier de 5,9 gigaoctets, taillé pour un portable. La version en 1 bit se limite à deux valeurs et descend à 3,9 gigaoctets, ce qui la fait entrer dans le budget mémoire d'un iPhone récent.

La compression court sur tout le réseau, sans échappatoire vers une précision supérieure, et les deux versions restent multimodales : elles voient captures d'écran, documents et images de caméra, avec un contexte de 262 000 tokens. PrismML dit conserver, sur une batterie de quinze bancs d'essai, 95 % des performances du modèle d'origine pour la version ternaire et 90 % pour celle en 1 bit, en précisant que les mathématiques, le code et l'appel d'outils sont les capacités les moins entamées.

L'enjeu revendiqué est celui des agents. Un agent ne passe pas un appel, il en passe des centaines, chacun facturé et traversant le réseau avec les fichiers, l'écran et les données de l'utilisateur. Faire tenir sur l'appareil un modèle capable de tenir la distance annule le coût marginal de l'itération et garde les données sur la machine. PrismML est né d'une équipe issue de Caltech.