Une image qui demandait près de trois secondes s'affiche maintenant en moins d'une demi-seconde

La plateforme d'inférence fal a optimisé le service du modèle d'images Ideogram v4 pour le faire passer sous la seconde. En 1K, une génération qui réclamait 2,75 secondes s'exécute désormais en 0,44 seconde, soit une accélération d'environ six fois, que fal dit obtenir sans dégradation visible de la qualité par rapport au modèle complet.

Le raisonnement part d'une équation simple : le coût d'une image tient au nombre de passages effectués par le diffusion transformer, multiplié par le coût de chaque passage. fal a donc joué sur les deux fronts. Rendre chaque passage moins cher, d'abord, en faisant tourner le transformer en FP4, un format en 4 bits pris en charge nativement par le matériel NVIDIA récent, et en fusionnant les petites opérations autour de chaque multiplication matricielle pour éviter des allers-retours mémoire coûteux. Réduire le nombre de passages, ensuite, par distillation : d'un côté en repliant la classifier-free guidance, qui imposait deux passes par étape, en une seule ; de l'autre en ramenant les nombreuses étapes de débruitage à une poignée.

Le point délicat tenait à la couleur : le passage brut en 4 bits désaturait les images, les erreurs s'accumulant d'une étape de débruitage à la suivante. fal a corrigé cela par une distillation tenant compte de la quantification (quantization-aware distillation), où un modèle 4 bits apprend à reproduire les sorties d'un modèle en pleine précision tout en intégrant son propre bruit de quantification.

Deux paliers en production reposent sur cette chaîne : Fast, qui replie les branches de guidance, et Instant, qui réduit en plus le nombre d'étapes et s'avère environ six fois plus rapide que la version de base.