Et si l’IA apprenait vos goûts en observant les réactions de votre cerveau ?

Sabi Research expérimente RLNF, une méthode qui utilise les signaux cérébraux pour entraîner une IA à générer des images adaptées aux préférences individuelles.

Une image de visage se transforme progressivement, sans qu'aucune instruction textuelle ne soit nécessaire pour lui indiquer la direction à prendre. Les changements suivent les préférences esthétiques d'une personne, déduites de son activité cérébrale. Cette démonstration accompagne les travaux de Sabi Research, qui explore une nouvelle méthode d'entraînement des modèles génératifs baptisée Reinforcement Learning with Neural Feedback (RLNF). L'idée consiste à remplacer les appréciations explicites des utilisateurs par des signaux neuronaux, afin de personnaliser les créations d'une intelligence artificielle.

Présentée par le chercheur Rahul Chhabra, cette approche ne consiste pas à lire directement les pensées. Elle exploite des corrélations entre certaines réponses physiologiques et les préférences exprimées par les participants. Les premiers résultats portent sur la génération de visages, un domaine où les jugements esthétiques varient sensiblement d'une personne à l'autre. Apprendre ce qu'une personne préfère sans lui demander son avis

Les modèles génératifs sont généralement ajustés à partir d'évaluations humaines, de comparaisons entre plusieurs résultats ou de systèmes chargés d'attribuer une note aux productions. Ces méthodes permettent d'améliorer la qualité moyenne des réponses, mais elles ont tendance à privilégier des préférences collectives plutôt que les goûts particuliers d'un individu.

La méthode RLNF explore une autre possibilité. Les chercheurs utilisent l'électroencéphalographie (EEG), qui mesure l'activité électrique du cerveau à l'aide d'électrodes, pour observer les réactions de participants face à différentes images. L'objectif est de détecter des signaux associés à leur appréciation personnelle, puis de les convertir en récompenses utilisées pendant l'entraînement d'un modèle génératif.

Dans l'étude publiée par Sabi Research, cinq volontaires ont regardé une série de visages en évaluant leur attractivité sur une échelle de 1 à 7. Les chercheurs ont enregistré leurs signaux cérébraux ainsi que des informations liées aux mouvements oculaires, afin d'identifier les caractéristiques physiologiques associées aux évaluations positives et négatives.

Le système parvient à distinguer les visages fortement appréciés de ceux moins bien notés, avec des performances variables selon les personnes. Sur une mesure appelée AUC, où 0,5 correspond au hasard et 1 à une discrimination parfaite, les résultats individuels s'échelonnent de 0,62 à 0,76 pour une observation unique. En moyennant dix observations, ils atteignent entre 0,80 et 0,98. Ces chiffres concernent la capacité à distinguer les préférences dans cette expérience, et non une lecture générale des émotions ou des pensées. Quand les signaux cérébraux entraînent FLUX

Une fois les préférences estimées, les chercheurs les utilisent pour spécialiser FLUX.2 Klein 4B, le modèle de génération d'images développé par Black Forest Labs.

La méthode repose sur une représentation numérique des visages et un système de comparaison avec des exemples déjà évalués. Chaque nouvelle image peut ainsi recevoir un score estimant sa proximité avec les préférences neuronales du participant. Ce score sert de récompense pendant l'apprentissage par renforcement, sans demander à l'utilisateur de noter chaque génération produite au cours de l'entraînement.

Les équipes ont effectué cinq cycles d'entraînement en utilisant des adaptations LoRA, avec 32 768 générations par cycle. Les modèles obtenus sont ensuite évalués sur des instructions et des configurations non utilisées pendant l'entraînement, pour observer si les modifications se maintiennent au-delà des exemples initiaux.

Les résultats montrent un déplacement progressif des caractéristiques des visages générés vers les préférences individuelles estimées. Pour l'un des participants, les chercheurs observent notamment une progression de 0,335 unité sur leur mesure de récompense EEG, contre 0,162 pour les préférences moyennes de la population. Les évaluations personnelles du participant évoluent également dans la direction attendue.

Des expériences de contrôle ont été menées avec des récompenses attribuées aléatoirement. Elles ne produisent pas les mêmes changements, ce qui soutient l'hypothèse selon laquelle les résultats proviennent bien des informations extraites des mesures EEG plutôt que du seul processus d'entraînement. Une personnalisation qui dépasse les préférences moyennes

La distinction entre goûts individuels et préférences collectives constitue l'un des enjeux de ces travaux. Une image jugée agréable par une majorité d'utilisateurs ne correspond pas nécessairement aux attentes de chacun. Ce décalage concerne les visages, mais également les œuvres abstraites, les voix, l'architecture ou les compositions musicales.

Les chercheurs s'appuient notamment sur des travaux consacrés aux préférences esthétiques individuelles, qui montrent que la part personnelle du jugement varie considérablement selon les domaines. Selon les estimations reprises par Sabi, elle représente environ 43 % de l'appréciation des visages et 74 % pour l'art abstrait.

Cette diversité pose une difficulté aux modèles entraînés sur de vastes ensembles de données, dont les productions tendent à converger vers des caractéristiques largement appréciées. Le retour neuronal pourrait fournir une information plus spécifique sur ce qui plaît réellement à une personne, sans dépendre uniquement de ses descriptions ou de ses choix explicites.

L'expérience reste toutefois limitée à cinq participants et à la génération de visages. Elle ne démontre pas que la méthode fonctionnerait avec la même précision sur d'autres formes de création. Les chercheurs reconnaissent également que certains signaux proviennent des mouvements oculaires plutôt que de la seule activité cérébrale, et que les résultats ne sont pas uniformes entre les participants. Des possibilités créatives qui posent aussi des questions éthiques

Une telle méthode pourrait, à terme, alimenter des