Morphic publie Reshoot-Anything, une méthode qui change l'angle de caméra d'une vidéo existante

Morphic publie Reshoot-Anything d'Adithya Iyer, une méthode IA qui modifie l'angle de caméra d'une vidéo via un entraînement sur des recadrages mobiles.

Adithya Iyer et ses collaborateurs publient le code et le papier de Reshoot-Anything, une méthode permettant de générer de nouvelles perspectives à partir d'une vidéo existante. Le sujet est central pour la génération vidéo IA : pour qu'un modèle apprenne à modifier l'angle d'une scène, il faut idéalement l'entraîner sur des vidéos multi-vues, c'est-à-dire des prises de vue simultanées d'un même événement sous plusieurs caméras. Or ces vidéos sont rares dans la nature, et les jeux de données synthétiques disponibles manquent de diversité.

L'apport principal du papier consiste à contourner cette pénurie. Plutôt que de chercher des vidéos multi-vues réelles, les auteurs samplent différents recadrages mobiles (crops) au sein d'une même vidéo : un recadrage aléatoire sert de source, un autre est prédit à la sortie, ce qui revient à entraîner le modèle à rejouer une scène depuis un autre cadre. Combinée à une petite quantité de vidéos synthétiques, cette approche suffit à faire généraliser le modèle à des trajectoires de caméra complexes (orbites, panoramiques) sans dégrader la qualité visuelle du modèle de base. Des augmentations simples (bruit gaussien, warping des images, arrière-plans fluorescents sur les images d'ancrage) renforcent la robustesse du modèle face aux erreurs de projection 4D.

Le rendu, illustré dans plusieurs démos, gère ces mouvements de caméra complexes en conservant la dynamique de la vidéo source. Les poids du modèle, le code et le papier sont mis à disposition publiquement sur arXiv et sur le GitHub de Morphic.