L'apprentissage vidéo peut-il se passer de moyens gigantesques ?

LeVJEPA 1.5 Large atteint 78,76 % sur 22 évaluations d'images et de vidéos, avec 321 fois moins de données et 28,5 fois moins de calcul que V-JEPA 2.

L'entraînement des modèles capables de comprendre les images et les vidéos repose souvent sur des volumes considérables de données et de calcul. Une nouvelle version de LeVJEPA, développée par une équipe de recherche réunissant notamment Lukas Kuhn, Yann LeCun et Randall Balestriero, suggère qu'une approche plus légère peut obtenir des résultats proches de modèles entraînés avec des moyens bien supérieurs. Sur 22 évaluations visuelles, LeVJEPA 1.5 Large atteint un score moyen de 78,76 %, contre 79,77 % pour V-JEPA 1 et 81,63 % pour V-JEPA 2.

La différence tient surtout aux ressources mobilisées. Là où V-JEPA 2 utilise environ 1,7 million d'heures de vidéos uniques, cette nouvelle version a été entraînée sur quelque 5 300 heures, soit 321 fois moins. Son budget de calcul atteint 151 exaFLOPs cumulés, contre environ 4 300 pour V-JEPA 2, une estimation qui représente un facteur de réduction de 28,5. Les résultats sont détaillés dans la fiche technique de LeVJEPA 1.5 Large, en prolongement des travaux scientifiques publiés sur arXiv. Apprendre à comprendre une vidéo sans la reconstruire

La méthode repose sur l'apprentissage autosupervisé, qui exploite les vidéos sans nécessiter d'annotations humaines pour chaque scène. Plutôt que de demander au système de reconstruire des images manquantes ou de prédire explicitement des représentations produites par un second réseau, les chercheurs utilisent un encodeur unique chargé d'apprendre des caractéristiques communes à différentes vues d'une même séquence.

Chaque extrait vidéo est observé sous une vue globale et plusieurs cadrages locaux. L'entraînement encourage leurs représentations numériques à rester cohérentes, malgré les différences de cadrage et d'apparence. Une technique de régularisation appelée SIGReg empêche le système de produire des représentations identiques pour toutes les entrées, phénomène connu sous le nom d'effondrement des représentations.

Cette architecture évite plusieurs composants traditionnellement employés dans les méthodes de type JEPA, notamment l'encodeur cible et le réseau de prédiction. Les chercheurs ont également montré qu'il était possible de supprimer aléatoirement 95 % des tokens visuels pendant l'entraînement, réduisant fortement les opérations nécessaires tout en conservant les informations utiles à l'apprentissage.

Le modèle utilise par ailleurs une attention block-causal, qui autorise chaque image à exploiter les informations des images précédentes sans consulter les suivantes. Cette organisation présente un intérêt pour le traitement des flux vidéo continus et les futurs systèmes capables de construire progressivement une représentation de leur environnement. Des résultats proches sur les images, plus éloignés sur la vidéo

Le changement d'échelle introduit avec la version 1.5 Large repose sur un encodeur ViT-L de 303 millions de paramètres, entraîné à partir de 1,8 million d'extraits vidéo provenant notamment de Kinetics-710, Something-Something v2, Walking Tours et PE-Video. Les évaluations utilisent un encodeur dont les paramètres restent figés, accompagné d'un dispositif léger chargé d'exploiter les caractéristiques apprises.

Sur les quinze benchmarks consacrés aux images, LeVJEPA 1.5 Large obtient une moyenne de 83,34 %, légèrement supérieure aux 83,03 % de V-JEPA 1 et relativement proche des 84,90 % de V-JEPA 2. Plusieurs résultats dépassent ceux des deux modèles de référence, particulièrement sur EuroSAT, avec 98,06 %, et BloodMNIST, avec 99,09 %.

La comparaison devient moins favorable sur les sept évaluations vidéo. Le nouveau modèle atteint 68,94 % en moyenne, contre 72,79 % pour V-JEPA 1 et 74,61 % pour V-JEPA 2. Sur Something-Something v2, consacré à la compréhension des actions et interactions, il obtient 60,10 %, tandis que V-JEPA 2 atteint 70 %. L'écart reste également important sur Kinetics-710, avec 68,23 % contre 77,01 %.

Ces résultats montrent que les économies de ressources ne s'accompagnent pas d'une équivalence complète des capacités. La version 1.5 Large apparaît particulièrement compétitive sur les tâches de reconnaissance d'images, alors que les modèles V-JEPA conservent un avantage plus net pour plusieurs exercices de compréhension temporelle. Une réduction du coût de l'apprentissage vidéo

L'intérêt de cette approche dépasse la comparaison des scores. Les expériences décrites par l'équipe montrent qu'à volume de données et nombre d'époques identiques, la méthode peut égaler ou dépasser V-JEPA 2 selon la taille des encodeurs, avec une consommation de calcul réduite d'un facteur compris entre 5,6 et 20,8.

Dans une autre expérience, un petit modèle ViT-Tiny a été entraîné pendant douze heures sur une seule RTX 5080 de 16 Go, à partir de huit vidéos de promenades urbaines non annotées. Les chercheurs rapportent une progression de 8,9 % à 25,2 % sur ImageNet-1K, selon leur protocole d'évaluation. Ce résultat illustre la possibilité d'expérimenter l'apprentissage vidéo sur du matériel moins coûteux, même si les performances d'un tel modèle restent éloignées de celles des grandes architectures.

L'optimisation concerne également la mémoire. En conservant seulement une faible proportion des informations visuelles à chaque étape d'entraînement, les chercheurs réduisent la charge imposée à l'encodeur, sans appliquer cette suppression lors de son utilisation finale. Le système exploite alors l'intégralité des informations de chaque séquence.

Ces choix techniques ouvrent une piste pour les applications qui nécessitent d'extraire des caractéristiques visuelles à partir de vidéos, comme la reconnaissance d'actions, la recherche de contenus ou l'analyse de scènes. LeVJEPA demeure toutefois un encodeur de représentations, et non un générateur vidéo ou un simulateur physique autonome. Des poids accessibles, mais réservés aux usages non commerciaux

Les poids de LeVJEPA 1.5 Large sont disponibles sur Hugging Face, tandis que le dépôt GitHub du projet fournit le code et les instructions d'entraînement. Le modèle