Du montage muet à la bande-son multipiste avec Instant Soundtracks
ElevenCreative lance Instant Soundtracks, un outil qui génère musique et effets sonores synchronisés à partir d'une vidéo, avec édition multipiste.
Une vidéo montée, des transitions définies, mais encore aucune bande-son. Avec Instant Soundtracks, ElevenCreative propose de générer automatiquement une musique originale et des effets sonores à partir des images d'une séquence existante. Le système analyse le montage, identifie les moments auxquels associer un son et positionne les éléments générés sur une timeline. Les créateurs peuvent ensuite reprendre chaque piste dans l'éditeur musical, sans devoir recommencer l'ensemble de la génération. La vidéo devient le point de départ de la création sonore
Instant Soundtracks fonctionne à partir d'une vidéo importée dans ElevenCreative. Contrairement à une génération musicale fondée uniquement sur une description textuelle, le système utilise directement les informations visuelles de la séquence.
Le modèle examine les images pour construire un accompagnement musical et identifier les événements susceptibles de nécessiter des effets sonores.
Une apparition de logo peut ainsi recevoir un effet de transition, tandis qu'un changement de plan peut être accompagné d'un impact sonore. Les effets sont générés puis placés automatiquement aux moments correspondants.
Le traitement associe donc deux opérations : la composition d'une musique originale adaptée au montage et la création d'effets synchronisés avec les actions détectées.
ElevenCreative présente cette génération combinée comme une manière de produire une première version sonore sans sélectionner manuellement chaque effet dans une bibliothèque ni déterminer son emplacement. Une musique qui suit les changements d'ambiance
La nouvelle fonction tient également compte de la progression narrative et des variations d'ambiance entre les scènes.
Une séquence énergique peut être accompagnée d'une musique électronique ou R&B, avant de passer vers une instrumentation acoustique lorsqu'un plan devient plus calme.
ElevenCreative indique avoir amélioré la précision de ces changements, notamment sur les vidéos courtes où les transitions peuvent se succéder rapidement.
La musique est construite en fonction du contenu visuel, mais aussi du rythme des coupes et des événements présents dans le montage.
Cette approche peut être utilisée pour des publicités, des vidéos promotionnelles ou des contenus destinés aux réseaux sociaux, dont les séquences alternent fréquemment entre différents plans.
La pertinence musicale reste toutefois une appréciation créative. L'analyse automatique d'une scène ne garantit pas que le résultat corresponde exactement à l'intention du réalisateur ou du monteur. Utiliser le son original comme référence
Instant Soundtracks peut également prendre en compte la piste sonore déjà présente dans une vidéo.
Le modèle analyse certaines caractéristiques de cet audio, notamment le genre musical, les variations d'intensité, le tempo ou les instruments utilisés.
Ces informations servent ensuite à orienter la nouvelle composition.
Un utilisateur peut ainsi conserver les caractéristiques musicales générales d'une séquence tout en demandant la création d'un nouvel accompagnement sonore.
La fonction ne consiste pas simplement à remplacer une musique existante par une piste sans rapport avec celle-ci. Elle permet de guider la génération à partir des propriétés du son original.
ElevenCreative ne détaille pas, dans son annonce, les modalités de conservation des dialogues ou de séparation des différentes sources présentes dans l'enregistrement initial. Des effets sonores séparés dans l'éditeur
Après la génération, la bande-son peut être modifiée dans le Music Video Editor d'ElevenCreative.
Les effets sonores apparaissent sous forme de pistes distinctes de la musique. L'utilisateur peut les examiner individuellement, modifier leur position ou en ajouter de nouveaux.
Il peut également remplacer la musique, ajuster certains passages et retravailler les transitions avant l'exportation.
Cette séparation permet de conserver les éléments déjà satisfaisants sans devoir générer une nouvelle bande-son complète pour chaque correction.
Un effet peut, par exemple, être déplacé pour mieux correspondre à une coupe, tandis que la musique reste inchangée.
L'outil conserve ainsi une étape d'édition manuelle après la génération automatique, avec un contrôle distinct sur la composition musicale et les effets sonores. Un traitement adapté aux formats courts
ElevenCreative met particulièrement en avant les vidéos courtes, notamment les contenus publicitaires et les créations destinées aux plateformes sociales.
Sur ces formats, quelques images peuvent suffire à marquer une transition, un changement de scène ou l'apparition d'un produit.
Instant Soundtracks cherche à identifier ces événements pour placer les effets au bon moment et adapter la musique au rythme du montage.
L'entreprise annonce une synchronisation plus précise sur les coupes, les transitions et les actions à l'écran.
Cette évolution concerne également les changements d'ambiance, afin d'éviter qu'une même intention musicale soit conservée lorsque le contenu de la vidéo change nettement.
ElevenCreative ne fournit cependant pas d'évaluation chiffrée permettant de mesurer la précision temporelle de ces effets ni de comparer cette version à d'autres systèmes de génération sonore à partir de vidéos. Une API avec exportation des pistes séparées
Instant Soundtracks est également intégré à l'API ElevenCreative Studio, pour les développeurs et les équipes qui souhaitent automatiser la création sonore.
Trois paramètres supplémentaires sont annoncés :
`addsfx` permet d'ajouter des effets sonores générés à partir de la vidéo.
`separatetracks` permet de récupérer la musique et les effets sonores sous forme de fichiers distincts.
`useaudioasreference` active l'utilisation de l'audio d'origine comme référence pour la nouvelle composition.
Lorsque `separatetracks` est activé, l'API renvoie une archive ZIP contenant les éléments audio séparés.
Ces fichiers peuvent ensuite être intégrés à une chaîne de montage, à un logiciel de mixage ou à un autre environnement de