Pipette mesure les modèles là où ils doivent réellement fonctionner

Pipette compare modèles, quantification, runtime et appareil pour mesurer qualité, vitesse, latence et mémoire de l’IA exécutée localement.

Un score obtenu sur un serveur puissant ne permet pas de savoir si un modèle répondra rapidement sur un téléphone, s’il tiendra dans la mémoire disponible ou si ses performances s’effondreront avec un contexte plus long. Pipette cherche à mesurer ces contraintes en considérant chaque déploiement comme une combinaison complète : modèle, quantification, moteur d’exécution et appareil.

Développée par Liquid AI en partenariat avec Artificial Analysis, la plateforme s’adresse aux équipes qui souhaitent exécuter des modèles localement sur des smartphones, des ordinateurs portables, des PC ou du matériel embarqué. Elle ne classe donc pas simplement les modèles à partir de leurs poids d’origine. Elle compare les versions réellement utilisées, après leur adaptation à un format capable de fonctionner sur un appareil donné.

Cette distinction concerne notamment la quantification, qui réduit la précision numérique des poids afin de diminuer la taille du modèle et ses besoins en mémoire. Deux versions portant le même nom peuvent présenter des écarts importants selon le format choisi. Une compression plus forte facilite l’exécution locale, mais peut également dégrader le suivi des consignes, le raisonnement ou la qualité des réponses.

Pipette associe chaque résultat à quatre éléments : le modèle testé, sa quantification, la version du runtime et le matériel utilisé. La longueur du contexte, les paramètres d’exécution, le système d’exploitation et la forme exacte de la requête sont également enregistrés. Les résultats issus de conditions différentes restent séparés au lieu d’être réunis dans une moyenne difficile à interpréter.

La première publication comprend plus de 10 000 mesures, correspondant à plus de 1 000 configurations de déploiement. Une trentaine de modèles et environ 35 classes sont représentées, avec plusieurs formats de quantification et des contextes compris entre 256 et 8 192 tokens lorsque la mémoire de l’appareil le permet.

Les premiers résultats vérifiés portent sur un MacBook Pro équipé d’une puce M5 Max, un iPhone 17 Pro et un Samsung Galaxy S26 Ultra. Une configuration reposant sur un AMD Ryzen AI Max+ 395 et sa partie graphique Radeon 8060S doit être ajoutée ultérieurement. La communication initiale évoque donc quatre appareils, mais les données du système AMD n’étaient pas encore accessibles lors du lancement.

Le tableau de bord interactif permet de filtrer les données selon l’appareil, le modèle, la quantification, le contexte, le runtime et le mode de raisonnement. Les mesures couvrent notamment le délai avant le premier token, la durée totale d’une génération, la vitesse de traitement du prompt, la vitesse de production de la réponse et le pic de mémoire vive.

Des vues spécifiques permettent d’examiner l’évolution des performances lorsque le contexte s’allonge. Cette dimension peut modifier fortement le choix d’un modèle. Sur un Galaxy S26 Ultra, par exemple, Granite 4.0 H 350M conserve 78,4 % de sa vitesse de génération entre 256 et 4 096 tokens, contre 33,8 % pour Granite 4.0 350M avec une quantification Q4KM. Des tailles proches ne garantissent donc pas une évolution comparable lorsque la quantité d’informations augmente.

Pipette met également en évidence les arbitrages entre vitesse et qualité. Sur un iPhone 17 Pro, MiniCPM5-1B traite une configuration comprenant 2 048 tokens d’entrée et 256 tokens de sortie en 3,47 secondes, contre 4,12 secondes pour LFM2.5-1.2B-Instruct. Ce dernier obtient toutefois neuf points supplémentaires sur MATH-500 avec le même niveau de quantification. Aucun des deux ne domine simultanément les deux critères.

La plateforme évite ainsi de désigner automatiquement un vainqueur général. Ses graphiques peuvent afficher des frontières de Pareto, c’est-à-dire les configurations pour lesquelles aucun concurrent n’est à la fois plus rapide, moins gourmand en mémoire et de meilleure qualité. Le choix dépend alors de l’usage : autocomplétion rapide, assistant conversationnel, traitement de documents plus longs ou fonctions exécutées sans connexion.

Les mesures de performance sont effectuées sur les appareils concernés. Les évaluations de qualité suivent toutefois un circuit différent. Les scores IFBench, GPQA Diamond et MATH-500 actuellement publiés par Pipette sont produits avec les mêmes fichiers quantifiés, mais sur des systèmes de référence équipés de NVIDIA H100 80 Go. Ils sont ensuite associés aux résultats de vitesse et de mémoire relevés localement.

Ce fonctionnement part du principe que la qualité d’un fichier quantifié ne change pas selon l’appareil lorsque le runtime exécute correctement les mêmes opérations. Il évite aussi de monopoliser un téléphone pendant l’intégralité des évaluations. Il faut néanmoins distinguer les scores de qualité calculés sur le système de référence des mesures de performance réellement obtenues sur le téléphone ou l’ordinateur.

Artificial Analysis propose une vue complémentaire consacrée aux modèles pouvant fonctionner sur smartphone. Elle combine les données de Pipette avec cinq évaluations couvrant le suivi des consignes, l’appel d’outils, les connaissances, la résistance aux réponses inventées, le raisonnement scientifique et les mathématiques.

Les fichiers testés dans ce classement mobile utilisent une quantification de quatre bits ou moins et doivent tenir dans 8 Go de mémoire avec le cache nécessaire à un contexte de 8 000 tokens. Lors du lancement, 33 des 41 versions évaluées ont pu fonctionner sur l’iPhone 17 Pro. Selon Artificial Analysis, la durée nécessaire pour traiter une même requête variait d’un facteur trente, tandis que le pic de mémoire allait d’environ 0,4 à 6,9 Go.

Ces écarts montrent pourquoi le nom du modèle ou son nombre de paramètres ne suffisent pas. Une architecture utilisant une activation partielle peut produire rapidement tout en conservant un poids important en mémoire. Un modèle plus lent peut obtenir de meilleurs résultats sur une tâche précise, tandis qu’un système de raisonnement très bavard peut