TwelveLabs ouvre Jockey à tous et transforme les archives vidéo en contenus exploitables
TwelveLabs lance la version publique de Jockey, son agent IA capable de rechercher, analyser et monter des vidéos depuis ChatGPT ou Claude.
Retrouver une phrase prononcée au milieu d'une interview, identifier toutes les séquences montrant un produit ou assembler les meilleurs passages de plusieurs vidéos. Avec la disponibilité générale de Jockey, TwelveLabs rassemble ces opérations dans un agent spécialisé dans la compréhension audiovisuelle. Accessible depuis ChatGPT et Claude, le système permet d'interroger des bibliothèques de vidéos et de photographies en langage naturel, d'examiner les séquences correspondantes et de construire des montages exportables en MP4. Des archives consultables depuis ChatGPT et Claude
Jockey était déjà disponible en version expérimentale, notamment au sein de Claude. Son lancement public s'accompagne d'une intégration à ChatGPT, via le protocole MCP (Model Context Protocol).
L'utilisateur peut connecter son compte TwelveLabs, sélectionner une collection et interroger ses vidéos directement dans une conversation.
Il devient ainsi possible de demander à l'assistant de retrouver tous les passages dans lesquels un produit apparaît, les moments où un intervenant évoque un sujet particulier ou les séquences montrant une action précise.
Les résultats comprennent les extraits pertinents et leurs références temporelles, afin de retrouver les passages dans les fichiers originaux.
Jockey fonctionne comme une couche spécialisée que ChatGPT ou Claude peuvent solliciter. Les vidéos restent organisées dans la bibliothèque TwelveLabs, tandis que l'assistant sert d'interface conversationnelle.
L'intégration est documentée dans le guide de connexion MCP de TwelveLabs. Rechercher une scène plutôt qu'un nom de fichier
L'une des principales fonctions de Jockey concerne la recherche sémantique dans les contenus audiovisuels.
Au lieu de dépendre des noms de fichiers, des dossiers ou des mots-clés ajoutés manuellement, le système examine ce qui apparaît et se produit dans les vidéos.
Une recherche peut porter sur un objet, une personne, un lieu, une action ou une situation décrite librement.
Un créateur disposant de centaines de séquences peut, par exemple, demander à retrouver les plans où un personnage traverse une rue sous la pluie, même si aucun fichier ne contient ces termes dans son nom.
Jockey s'appuie sur les technologies de TwelveLabs, notamment Marengo, consacré à la représentation et à la recherche multimodale, et Pegasus, destiné à l'analyse des contenus et de leur contexte.
Ces modèles permettent de rapprocher une demande textuelle de passages vidéo et de fournir des descriptions des événements identifiés.
Les correspondances restent soumises aux capacités d'interprétation des modèles. Une scène ambiguë ou un événement difficile à distinguer peut produire des résultats incomplets ou incorrects. Retrouver les mots prononcés dans une interview
La recherche ne se limite pas aux éléments visibles.
Jockey peut également utiliser le contenu parlé pour identifier les passages pertinents d'un enregistrement.
Une équipe éditoriale peut demander de retrouver toutes les séquences dans lesquelles plusieurs personnes expliquent pourquoi elles ont changé de logiciel, évoquent une difficulté ou donnent leur avis sur un produit.
L'agent exploite les transcriptions pour identifier les interventions correspondantes et permettre leur consultation dans les vidéos d'origine.
Cette fonction peut servir au montage d'interviews, à la préparation de documentaires ou à la réutilisation de conférences et de podcasts filmés.
Les références temporelles évitent d'avoir à parcourir intégralement chaque enregistrement pour retrouver une citation.
La pertinence dépend toutefois de la qualité de l'audio, de la transcription et de la correspondance entre la demande et les propos réellement tenus. Décomposer une vidéo en scènes directement dans la conversation
Jockey permet aussi de demander une analyse séquence par séquence.
L'utilisateur peut soumettre une vidéo et demander une description de son déroulement. L'agent produit alors une décomposition comprenant des aperçus visuels, des descriptions et des liens vers les passages concernés.
Ces résultats peuvent être consultés directement dans ChatGPT ou Claude, sans devoir ouvrir séparément chaque fichier.
Pour une démonstration produit, cela permet par exemple d'identifier les différentes étapes présentées, les changements d'environnement ou les moments où une fonctionnalité apparaît à l'écran.
Dans un travail de montage, cette décomposition peut faciliter la sélection des passages à conserver ou à déplacer.
Elle peut également servir à examiner la structure d'un contenu existant avant d'en produire une version plus courte. Importer des vidéos depuis plusieurs sources
La version publique simplifie l'ajout de contenus dans les collections TwelveLabs.
Les utilisateurs peuvent transmettre un lien YouTube public ou une adresse directe vers un fichier vidéo accessible en ligne.
Plusieurs liens peuvent être communiqués dans une même conversation, avec une instruction demandant leur ajout à une collection particulière.
L'importation depuis un ordinateur passe par un lien de téléversement fourni par Jockey. Celui-ci ouvre une page permettant d'ajouter les fichiers à la bibliothèque sélectionnée.
L'annonce mentionne également l'importation depuis Google Drive parmi les nouvelles possibilités proposées.
Une fois les contenus traités et indexés, ils deviennent disponibles pour les recherches et les analyses.
Ce fonctionnement implique une phase de préparation des médias. Les fichiers ne sont pas nécessairement interrogeables immédiatement après leur envoi, notamment lorsque leur volume est important. Construire un montage à partir des extraits retrouvés
Jockey peut utiliser les résultats de recherche pour assembler plusieurs passages dans une même vidéo.
Un utilisateur peut demander une sélection de moments consacrés à un sujet, à un produit ou à une personne, puis obtenir une première séquence construite à partir des extraits identifiés.
L'outil permet désormais de conserver des points d'entrée et de sortie précis, y compris à une