Kyutai mesure le hasard caché derrière le FID en génération d'images

Kyutai et UC Berkeley révèlent dans The FID Lottery que l'aléa d'entraînement des IA génératives d'images fausse la métrique FID de plus de deux points.

Kyutai, avec UC Berkeley, publie The FID Lottery, un papier qui quantifie une part de hasard rarement mesurée dans l'évaluation des modèles génératifs d'images. Sa cible : le FID, ou Fréchet Inception Distance, la métrique qui fait office d'arbitre, où un demi-point réordonne un classement et où quelques décimales orientent des budgets en heures-GPU.

Derrière chaque FID rapporté, rappellent les auteurs, se cachent cinq sources d'aléa : l'initialisation du modèle, l'ordre des données, le bruit injecté à chaque étape d'entraînement, le non-déterminisme matériel, et le bruit de génération au moment d'échantillonner. La pratique courante ne tient compte que du dernier, en rééchantillonnant plusieurs seeds ; le papier les étudie tous les cinq.

Le constat : sur des centaines de modèles entraînés sur ImageNet, l'aléa de l'entraînement pèse bien plus lourd que celui de la génération. En relançant vingt-cinq fois le même entraînement sur la même machine, seul le seed changeant, le FID s'étale de 33,59 à 35,69, soit 2,1 points d'écart par pur hasard, et la dispersion d'un réentraînement à l'autre dépasse d'environ trois fois celle d'un simple rééchantillonnage. Aucun des leviers testés, guidage, compute, taille du modèle ou taux d'apprentissage, ne referme l'écart, si bien qu'un FID à seed unique repose sur un plancher de bruit sous lequel passent souvent les gains de recette publiés. Les auteurs relèvent toutefois qu'un réglage fin du guidage réduit de moitié ce plancher relatif, et qu'un seed d'entraînement chanceux atteint le même score avec jusqu'à deux fois moins de calcul qu'un malchanceux.