General Video Agent veut automatiser le montage sans enfermer les créateurs dans un fichier MP4

Motion ouvre la bêta de General Video Agent, un agent IA capable de monter, générer et modifier des vidéos exportables vers Premiere Pro ou After Effects.

Le montage vidéo par intelligence artificielle ne se limite plus à générer quelques plans ou à découper automatiquement une séquence. Avec General Video Agent (GVA), Mosaic AI Labs propose un agent capable de prendre en charge une production entière, depuis l'analyse des rushes jusqu'au montage, à l'habillage graphique et à la synchronisation sonore. Intégré à sa plateforme Motion, le système combine modèles génératifs, vision par ordinateur, programmation vidéo et modèles de langage multimodaux. Sa particularité tient à la nature des projets produits : les vidéos peuvent être corrigées dans une timeline, modifiées directement dans l'aperçu et exportées vers des logiciels comme Adobe Premiere Pro, After Effects ou DaVinci Resolve. La bêta publique est désormais accessible sans liste d'attente. Monter des images existantes ou fabriquer de nouveaux plans

General Video Agent cherche à réunir deux activités encore souvent séparées dans les outils d'IA : la génération de séquences et le montage de contenus déjà filmés. L'utilisateur peut transmettre un brief accompagné de rushes, de références stylistiques ou d'éléments graphiques. L'agent analyse alors la matière disponible, organise le déroulement de la vidéo et choisit les opérations nécessaires à sa réalisation. Il peut aussi produire de nouveaux éléments visuels lorsque le projet le demande, plutôt que de travailler exclusivement avec les fichiers importés.

Les usages présentés par Mosaic couvrent notamment les films de lancement, les démonstrations de produits, les interviews, les podcasts multicaméras et les extraits destinés aux réseaux sociaux. Un entretien peut être remonté avec des changements de cadrage, des titres animés et des séquences d'illustration, tandis qu'un brief publicitaire peut devenir une vidéo mêlant motion design, voix off et musique. L'agent prend également en charge des opérations plus traditionnelles de postproduction, comme l'étalonnage, le montage sonore ou la synchronisation des pistes.

Pour orienter les résultats, Motion peut étudier une vidéo de référence et en extraire certains principes de réalisation : rythme du montage, typographie, transitions et construction des plans. Cette capacité ne garantit pas la reproduction exacte d'une direction artistique, mais permet d'utiliser des exemples visuels comme consignes de production, en complément du texte. Un projet que l'on peut continuer à monter

L'un des principaux arguments de GVA concerne la modification des résultats. De nombreux générateurs vidéo produisent un fichier finalisé dont les éléments internes sont difficilement accessibles. Toute correction de composition ou de typographie peut alors nécessiter une nouvelle génération. Motion cherche à conserver une représentation éditable de la vidéo, avec ses séquences, ses éléments graphiques et ses pistes sonores.

L'utilisateur peut demander une modification par écrit, sélectionner un élément directement dans l'aperçu, déplacer un titre ou dessiner une annotation sur l'image pour désigner la zone à corriger. Une timeline native permet également de déplacer des séquences, d'ajuster leur durée ou de modifier certains éléments sans passer systématiquement par une nouvelle instruction. La conversation avec l'agent devient ainsi un moyen de piloter le montage, sans supprimer les possibilités d'intervention manuelle.

Cette logique se prolonge dans les exports. GVA annonce une compatibilité avec Premiere Pro, After Effects, DaVinci Resolve, Remotion et Hyperframes, afin que les projets puissent être repris dans des environnements professionnels ou programmatiques. Mosaic précise toutefois que les fonctionnalités conservées varient selon le logiciel de destination. Un projet exportable ne signifie donc pas nécessairement que tous les effets, paramètres ou comportements restent modifiables à l'identique dans chaque application. Plusieurs technologies derrière un même agent

GVA ne repose pas sur un unique modèle de génération vidéo. Son fonctionnement est décrit comme un assemblage de modèles de diffusion, de systèmes de vision par ordinateur, de modèles multimodaux et de technologies de vidéo programmable. L'agent choisit les outils adaptés aux opérations demandées, qu'il s'agisse d'analyser des rushes, de produire une animation typographique ou de construire une séquence à partir de code.

Mosaic insiste sur une représentation vidéo indépendante du framework employé pour la produire. Pour étudier cette approche, l'équipe a réalisé une expérience utilisant le même modèle, les mêmes fichiers et le même brief avec plusieurs environnements de programmation, notamment Remotion, Hyperframes, Python, C++, Forth et Uiua. Les versions produites avec des langages familiers au modèle ont obtenu des résultats proches lors des évaluations présentées par l'entreprise.

Sur le plan des coûts de génération, Motion affiche une moyenne d'environ 2,86 dollars par vidéo dans l'une de ces comparaisons, contre 3,12 dollars pour Python, 3,13 dollars pour Hyperframes et 3,30 dollars pour Remotion. Ces montants représentent les coûts de tokens facturés par le fournisseur du modèle pour les essais retenus, et non le prix commercial d'une vidéo terminée. Les tests restent internes, reposent sur un nombre limité de productions et ne permettent pas de conclure qu'un framework serait systématiquement supérieur aux autres.

L'entreprise en tire surtout une conclusion sur l'importance du harness, c'est-à-dire l'ensemble des instructions, outils, mécanismes de planification et vérifications qui encadrent le modèle. Deux systèmes utilisant le même modèle de langage peuvent produire des montages sensiblement différents selon leur manière d'organiser les étapes de travail. Il s'agit d'une hypothèse appuyée par les expérimentations internes de Mosaic, et non d'une loi générale démontrée pour toutes les architectures vidéo. Des fichiers, des applications et une mémoire de travail connectés

General Video Agent peut accéder à des ressources hébergées dans plusieurs