Richard Sutton fonde Oak Lab pour des agents qui apprennent en continu

Richard Sutton fonde Oak Lab avec Khurram Javed pour créer des agents d'IA apprenant en continu avec 20 watts, rejetant l'apprentissage profond classique.

Richard Sutton, cofondateur de l'apprentissage par renforcement moderne et lauréat du prix Turing 2024 avec Andrew Barto, a quitté Keen Technologies, la société d'AGI de John Carmack, pour fonder Oak Lab avec son ancien doctorant Khurram Javed. La nouvelle structure, canadienne, se range parmi ces « neolabs » qui misent sur une percée algorithmique plutôt que sur la montée en échelle.

Sutton salue Keen mais pose sa divergence : il juge les méthodes actuelles d'apprentissage profond faibles et inefficaces, et estime qu'elles réclament non pas des retouches mais une refonte de fond avant de pouvoir servir de socle aux ambitions les plus élevées de l'IA. Le pari d'Oak Lab est de construire des agents qui apprennent de leur propre expérience, en continu, plutôt que d'imiter des jeux de données préparés par des humains.

L'argument technique est développé dans un billet publié le même jour. Les algorithmes d'optimisation courants, du type descente de gradient stochastique, supposent que toute donnée est utile : ils attribuent le crédit d'une erreur à tous les paramètres concernés, sans distinguer ce qui est prévisible de ce qui ne l'est pas. Résultat, confrontés à un flux réel, bruité, ils absorbent le bruit au lieu d'apprendre le signal. Les chercheurs le démontrent sur un jeu de chiffres manuscrits noyé dans des pixels parasites : là où la méthode classique renforce les connexions de toute l'image, la leur ne renforce que celles de la zone porteuse d'information.

De là découle la ligne du laboratoire : des algorithmes qui apprennent à attribuer le crédit, capables de travailler sur un flux bruité, en temps réel, sans stocker ni rejouer les données, avec ce qu'ils appellent un apprentissage à lot unique. Le Graal affiché est chiffré : un agent de mille milliards de paramètres qui apprend et planifie en temps réel avec vingt watts, soit l'ordre de grandeur d'un cerveau humain.