Black Forest Labs publie Self-Flow

Black Forest Labs publie Self-Flow, un paradigme de flow matching auto-supervisé surpassant REPA sur FLUX.2 sans dépendre d'un encodeur externe.

Une équipe associant Black Forest Labs (Patrick Esser, Dominik Lorenz, Robin Rombach) et des chercheurs académiques (Hila Chefer, Antonio Torralba, entre autres) publie Self-Flow, un paradigme de flow matching auto-supervisé qui apprend la représentation et la génération conjointement, sans dépendre d'un encodeur externe type DINOv2, SigLIP2 ou MERT.

Le mécanisme central, baptisé Dual-Timestep Scheduling, applique des niveaux de bruit hétérogènes sur les tokens d'une même entrée. Cette asymétrie informationnelle force le modèle à reconstruire ce qui manque à partir d'une vue partiellement corrompue, ce qui fait émerger une représentation sémantique forte en parallèle de la capacité générative. L'approche se passe ainsi des modèles d'alignement habituellement greffés pour stabiliser la convergence des modèles de diffusion ou de flow matching.

Les résultats sont évalués sur trois modalités avec un backbone FLUX.2 de 4 milliards de paramètres entraîné conjointement sur 200M d'images, 6M de vidéos et 2M de paires audio-vidéo, ainsi que sur des modèles plus petits (625M) pour les comparaisons en isolation. Self-Flow dépasse REPA, référence actuelle de l'alignement par encodeur externe, sur les trois modalités. L'écart se creuse à mesure que le modèle grandit (de 290M à 1 milliard de paramètres) là où REPA voit ses gains s'éroder. Sur l'audio comme sur la vidéo, les auteurs relèvent par ailleurs que l'alignement externe peine à généraliser au-delà des tâches centrées sur l'image.

Une piste de prolongement est explorée sur les world models : les modèles entraînés avec Self-Flow sont fine-tunés pour la prédiction d'actions sur le simulateur SIMPLER, et conservent leur avantage sur les tâches complexes multi-objets ou séquentielles.