Perplexity dote Computer d'une inférence hybride entre l'appareil et le cloud

Perplexity dote son outil Computer d’une inférence hybride avec Intel et NVIDIA, répartissant les tâches entre modèle local et cloud d'ici juillet.

Perplexity étend son produit Computer avec une inférence agentique hybride, un orchestrateur qui répartit automatiquement les tâches entre un modèle exécuté localement sur la machine et des modèles de pointe hébergés dans le cloud. Un modèle compact tourne sur l'appareil et détermine quelles données sensibles, comme des dossiers financiers, des informations de santé ou des fichiers personnels, doivent y rester, tandis que les traitements exigeant toute la puissance d'un grand modèle sont confiés au serveur.

La plupart des tâches mêlant les deux, le système les scinde et en coordonne les parties, sans demander à l'utilisateur de trancher entre local et distant au départ. L'objectif affiché est d'optimiser la valeur obtenue par watt consommé, en arbitrant entre précision, confidentialité et coût énergétique selon le besoin de chaque tâche. Plus la puce locale est performante, plus l'orchestrateur peut conserver de calcul sur l'appareil et réserver le cloud au travail qui l'exige réellement. Présentée avec Intel, l'infrastructure se veut indépendante du matériel et fonctionne sur d'autres puces, dont la RTX Spark de NVIDIA. Perplexity y voit aussi un moyen de réduire le recours aux centres de données centralisés et de maintenir certaines données dans leur juridiction d'origine. La déclinaison à inférence locale, baptisée Personal Computer, est attendue pour juillet.