Classer des images commence parfois par clarifier ses propres critères

Pour classer des images selon des critères subjectifs, une méthode de Google Research aide les utilisateurs à préciser leurs propres règles.

Une image de smoothie suffit à mettre une consigne en difficulté. Les fruits peuvent justifier son classement parmi les aliments sains ; sa teneur en sucre peut conduire à l’exclure. Avant même d’évaluer la réponse d’une IA, il faut alors préciser ce que l’on attend d’elle. Ce problème guide Agile Deliberation, une méthode de Google Research destinée à construire des outils de classement d’images à partir de catégories subjectives.

Dans son billet consacré à Agile Deliberation, l’équipe décrit une démarche où les critères humains évoluent au contact des exemples. Une définition initiale sert de point de départ. Des images ambiguës viennent ensuite en révéler les imprécisions, puis les décisions de l’utilisateur alimentent une révision automatique des consignes. L’évaluation porte sur l’alimentation saine et sur des images promettant des récompenses trompeuses en ligne. Définir une catégorie demande parfois de voir ses exceptions

Reconnaître un panneau de signalisation et sélectionner des œuvres jugées inspirantes ne posent pas le même problème. Dans le second cas, le nom de la catégorie ne suffit pas à établir une règle partagée. Les préférences individuelles, le contexte culturel ou les règles d’une organisation peuvent modifier les choix attendus. Deux personnes peuvent donc classer différemment une même image tout en restant cohérentes avec leurs propres critères.

Les méthodes décrites par les chercheurs supposent souvent que la personne chargée d’annoter les images possède déjà une définition suffisamment claire. Or certaines distinctions n’apparaissent qu’au moment de décider. Une consigne qui semblait complète peut laisser une question ouverte devant un exemple inattendu. Continuer à attribuer des étiquettes sans préciser cette distinction risque de transmettre au modèle une règle encore hésitante.

Le premier travail proposé consiste à décomposer la catégorie générale en sous-catégories et à formuler des exclusions. Pour l’alimentation saine, l’utilisateur peut retenir les salades, les bols de céréales ou certaines protéines, puis écarter les produits transformés. Ces exemples illustrent des choix possibles dans le dispositif, sans constituer une définition nutritionnelle universelle. Leur rôle est de rendre explicite le périmètre que cette personne souhaite appliquer. Les images ambiguës servent à faire évoluer les consignes

Une fois ce périmètre établi, des modèles capables de traiter du texte et des images recherchent des exemples situés à la frontière des critères retenus. Le choix des images vise les ambiguïtés de la définition humaine. Il ne s’agit pas simplement de soumettre les contenus que la machine classe avec le moins de certitude : un cas intéressant doit aussi aider l’utilisateur à préciser une distinction utile.

Le smoothie évoqué dans le billet illustre ce travail. La présence de fruits peut satisfaire un premier critère, tandis que leur transformation ou le sucre peuvent en faire intervenir un autre. L’utilisateur décide de l’inclusion ou de l’exclusion de l’image et peut commenter son choix. L’exemple sert alors à clarifier la manière dont plusieurs règles doivent s’articuler.

Ces retours sont transmis à une boucle de révision automatique du prompt. Les consignes de classement évoluent avec les décisions exprimées, au fil des images examinées. La personne conserve la responsabilité des critères ; l’outil prend en charge leur reformulation. Cette répartition répond à une difficulté rapportée dans le billet : modifier soi-même une instruction pour corriger une erreur peut faire craindre de détériorer les décisions qui convenaient jusque-là. Une comparaison avec le prompt initial et le travail manuel

Pour évaluer cette démarche, les chercheurs l’ont confrontée à trois méthodes. La première utilise uniquement une consigne initiale, sans phase de clarification. La deuxième décompose automatiquement le concept à l’aide d’un agent, sans laisser l’utilisateur guider cette décomposition. La troisième demande à la personne de chercher elle-même des images problématiques et de réécrire ses instructions.

Ces comparaisons portent sur deux situations différentes. L’alimentation saine met en jeu une sélection personnelle de contenus souhaités. L’autre catégorie, appelée « paid to play » dans la publication, concerne la modération d’images promettant des récompenses irréalistes pour des activités de divertissement en ligne. Le dispositif est donc examiné à la fois pour retenir des contenus et pour repérer ceux qu’une règle cherche à écarter.

Le notebook de démonstration indiqué par les auteurs reprend le cas de l’alimentation saine. Le billet envisage aussi la constitution de collections selon des goûts artistiques ou le classement de données scientifiques. Ces usages sont proposés comme pistes d’adaptation ; ils ne font pas partie des deux domaines évalués. Des gains mesurés sur un petit groupe

L’article scientifique publié à CVPR 2026 précise que les dix-huit séances correspondent à neuf participants, sans expérience professionnelle de la modération, recrutés au sein de l’organisation. Chacun a essayé les deux outils interactifs sur des concepts différents. Les performances sont donc comparées entre participants, dont les définitions personnelles peuvent varier.

Pour les récompenses trompeuses, le score F1 passe de 0,48 avec le prompt initial à 0,59 après délibération ; pour l’alimentation saine, de 0,48 à 0,58. Ces écarts représentent 11 et 10 points sur une échelle de 0 à 100. Cet indicateur combine précision et rappel. Les images retenues sont plus souvent pertinentes, mais une part accrue des images recherchées échappe au classement : le rappel diminue.

Tous les participants ont préféré Agile Deliberation au travail manuel. Parmi les six dimensions du questionnaire, les différences statistiquement significatives concernent l’effort requis et les émotions négatives, dont le stress. Ce résultat ne s’étend pas à l’ensemble des mesures de fatigue ou de frustration.