Chercher large et creuser profond, personne n'y arrive encore
Perplexity publie WANDR pour tester les agents de recherche. Entre 57 et 87 % des sources citées ne prouvent pas les affirmations de ces outils.
Perplexity ouvre WANDR, un banc d'essai libre destiné aux agents de recherche, assorti de son outillage d'évaluation. Cinq cents tâches y reproduisent le travail qu'on leur confie déjà : cartographie concurrentielle, due diligence, revue de littérature, analyse de marché, sourcing de candidats.
La difficulté naît d'un croisement. Il faut aller large, découvrir un ensemble étendu et souvent ouvert d'entités remplissant un critère, et aller profond, étayer par une preuve chaque affirmation portant sur chacune d'elles. Une tâche publiée demande ainsi soixante-dix entreprises américaines ayant annoncé la nomination d'un directeur général ou financier sur une fenêtre de deux mois, avec pour chacune une page faisant autorité, plus une seconde preuve établissant son statut de société cotée. Cent quarante enregistrements vérifiables pour une seule tâche ; la tâche médiane du banc en réclame deux cent quarante-cinq.
L'évaluation ne repose pas sur un corrigé figé, qui vieillit mal quand les réponses changent avec le temps. Chaque affirmation est jugée contre la preuve que l'agent cite lui-même : le correcteur recharge la page, vérifie qu'elle est exploitable, que les extraits sélectionnés y figurent réellement, et qu'ils soutiennent bien toutes les exigences posées.
Le verdict est sévère pour l'ensemble des systèmes testés, et la nature des échecs surprend. Trouver une page utilisable ne pose guère de problème : à une exception près, moins d'un dixième des pages soumises se révèlent inexploitables. La découverte forme un premier goulot, une partie de l'effectif demandé n'étant jamais réunie. Mais la perte dominante vient de la preuve elle-même. Entre un tiers et deux tiers des pages ne satisfont pas au moins une exigence de fond, et surtout, entre 57 et 87 % des extraits cités ne suffisent pas à étayer tout ce que l'enregistrement affirme. L'agent produit bien une source, mais elle ne démontre pas ce qu'il avance.
Une réserve s'impose : le banc est publié par Perplexity, qui y soumet aussi son propre système de recherche. Tâches, vérificateur et rapport technique sont accessibles publiquement.