TwelveLabs présente Rodeo, un copilote de montage par recherche vidéo

TwelveLabs lance Rodeo, un copilote de montage vidéo basé sur ses modèles Marengo et Pegasus pour automatiser la recherche sémantique dans les rushes.

Rodeo est le nouveau produit de TwelveLabs, startup spécialisée dans l'IA vidéo multimodale (image, son, dialogue et contexte narratif), pensé comme un copilote pour les monteurs et créateurs. Son postulat : la difficulté ne tient pas tant au montage qu'à la recherche dans des heures de rushes. L'outil vise donc à transformer des images brutes en premier montage en quelques minutes plutôt qu'en plusieurs heures.

Le principe repose sur la recherche en langage naturel. L'utilisateur formule sa demande, par exemple un plan où un personnage pleure face à une photo au coucher du soleil, et l'outil explore sémantiquement toute la bibliothèque, visuel, audio, dialogues et contexte compris, avant de proposer des segments et des assemblages. La direction créative reste côté humain, l'IA prenant en charge le repérage fastidieux.

L'outil s'appuie sur les modèles maison de TwelveLabs : Marengo pour les embeddings multimodaux servant à la recherche, et Pegasus, un modèle capable d'analyser de longues vidéos, d'en extraire des métadonnées horodatées et de saisir l'enchaînement causal d'une scène. C'est la première application grand public de l'entreprise, jusqu'ici connue pour sa plateforme d'API utilisée dans les médias, le sport ou la publicité.

Présenté au NAB Show, Rodeo est en accès anticipé, sur demande via tryrodeo.io, et s'adresse en priorité aux équipes de production gérant d'importants volumes vidéo.