Un seul pixel désigné suffit à reconstituer la trajectoire 3D d'un objet

Des chercheurs de l'université de Toronto et du Vector Institute présentent ProxyPose, une méthode qui suit le mouvement d'un objet dans une vidéo à partir d'un unique point cliqué. En entrée, une vidéo ordinaire et un pixel choisi par l'utilisateur ; en sortie, la trajectoire complète en six degrés de liberté (position et orientation) de l'objet visé.

L'astuce tient à un détour par la génération. Plutôt que d'estimer directement la pose, ProxyPose traduit d'abord la vidéo source en une « proxy video » où un cube coloré reproduit exactement le mouvement rigide local du point désigné. Cette traduction s'appuie sur un modèle vidéo génératif affiné par LoRA. La trajectoire est ensuite récupérée par des méthodes géométriques classiques, sans apprentissage, notamment l'algorithme Perspective-n-Point.

L'approche vise les situations où les méthodes existantes échouent. Elle suit des objets aux matières difficiles, transparents ou réfléchissants, et tient sous de fortes occlusions. Bien qu'entraînée uniquement sur des objets rigides, elle parvient aussi à suivre des surfaces déformables comme un visage humain, et s'étend au suivi de caméra là où une reconstruction photogrammétrique classique cale, faute de texture. Sans réentraînement, elle s'applique même à d'autres capteurs, caméra événementielle ou imagerie mono-photon.

Les auteurs signalent les limites du procédé : dérive de pose sur les surfaces réfléchissantes ou sans texture en mouvement complexe, incohérences quand le mouvement est mal défini (la surface d'un fluide), et images floues au-delà des capacités du modèle vidéo lors de mouvements très rapides. Code et papier sont publics.