each::labs lance son propre modèle de remplacement de personnages vidéo
each::labs lance Lockstep, un modèle de recasting vidéo capable de remplacer plusieurs personnages tout en conservant les mouvements et la caméra.
Un cascadeur traverse un parking en courant vers la caméra. Dans la version générée, une femme en blazer reproduit exactement sa course, mais le décor est devenu un couloir d'école. Les mouvements, la durée du plan et le cadrage sont conservés. Seuls le personnage et l'environnement ont changé. Cette transformation illustre le fonctionnement de Lockstep, le nouveau modèle vidéo présenté par each::labs.
La technologie repose sur le recasting, une méthode qui consiste à remplacer les personnages d'une vidéo existante à partir de photographies de référence. Contrairement aux générateurs vidéo classiques, qui doivent recréer une scène complète à partir d'un prompt, Lockstep utilise une séquence déjà tournée comme référence pour les mouvements, la synchronisation labiale et la caméra.
Le modèle est disponible sur la plateforme each::labs, dans son interface de génération et via une API. Les tarifs annoncés commencent à 0,0475 dollar par seconde de vidéo, selon la résolution. Une photographie suffit pour remplacer un personnage entier
Le fonctionnement de Lockstep repose sur deux éléments : une vidéo source et une photographie de chaque personnage à introduire.
L'utilisateur importe d'abord une séquence contenant les mouvements qu'il souhaite conserver. Il peut s'agir d'une chorégraphie, d'une publicité, d'une scène de fiction ou d'une vidéo tournée à la main.
Il ajoute ensuite une image du nouveau personnage. Le système reconstruit son apparence dans la vidéo en cherchant à conserver les gestes et les déplacements de l'interprète d'origine.
La transformation ne se limite pas au visage. Le modèle peut modifier la coiffure, la silhouette, la tenue vestimentaire et d'autres caractéristiques visuelles issues de la référence.
Selon each::labs, une seule photographie claire et correctement éclairée suffit pour fournir l'identité visuelle d'un personnage. Le résultat reste toutefois dépendant de la qualité de cette image, de la complexité des mouvements et des éléments partiellement masqués pendant la séquence.
Le système peut également traiter des animaux, des mascottes et des personnages stylisés, ce qui étend son utilisation au-delà du remplacement d'acteurs humains. Conserver les mouvements plutôt que les régénérer
La principale promesse de Lockstep concerne la fidélité au mouvement original.
Une génération vidéo à partir d'un prompt peut reproduire une intention générale, par exemple une personne qui danse ou court, sans respecter exactement les gestes, les appuis ou la durée d'une séquence préexistante.
Lockstep suit une logique différente : la vidéo source définit la chorégraphie et le rythme que le nouveau personnage doit reproduire.
L'entreprise affirme conserver les pas, les rotations, les expressions et les gestes au même moment que dans l'enregistrement original. Les mouvements de caméra, notamment les panoramiques, les déplacements rapides ou les tremblements d'une captation à la main, sont également préservés.
Le modèle prend aussi en charge la synchronisation labiale. Lorsqu'un personnage parle ou chante dans la vidéo d'origine, le nouveau visage doit reproduire les mouvements de bouche correspondants.
Cette approche permet de réutiliser une performance déjà réalisée, plutôt que de demander au modèle d'en inventer une nouvelle.
Elle ne garantit cependant pas une reproduction parfaite de chaque mouvement. Les démonstrations publiées sont sélectionnées par each::labs et ne sont pas accompagnées de mesures indépendantes de fidélité corporelle ou de synchronisation labiale. Plusieurs personnages remplacés dans une seule génération
Lockstep peut modifier plusieurs sujets au cours d'une même opération.
Dans la documentation de son API, each::labs prévoit jusqu'à huit images de référence. Les personnages sont désignés au moyen de marqueurs comme `@Image1` ou `@Image2`, que l'utilisateur associe aux personnes présentes dans la vidéo.
Cette méthode permet, par exemple, de remplacer deux danseurs par un garde royal et un matador, sans devoir effectuer deux traitements distincts.
Les marqueurs servent à préciser quel personnage doit occuper quelle place dans la scène. Le modèle cherche ensuite à maintenir cette correspondance pendant les mouvements et les changements de perspective.
L'utilisateur peut aussi choisir de conserver intégralement le décor d'origine. Dans ce cas, seuls les personnages spécifiés sont modifiés, tandis que l'éclairage, le cadrage et l'environnement sont censés rester identiques.
Un prompt facultatif permet au contraire d'étendre la transformation. Il devient possible de modifier l'arrière-plan, l'ambiance ou le lieu où se déroule l'action, tout en réutilisant les gestes des acteurs.
Cette combinaison donne au modèle un rôle intermédiaire entre le remplacement de personnages, le transfert de mouvements et la transformation vidéo guidée par instructions. Une publicité tournée une fois, puis déclinée avec plusieurs acteurs
Le principal usage commercial présenté par each::labs concerne la déclinaison de productions existantes.
Une marque peut tourner une publicité avec un acteur, puis produire plusieurs versions mettant en scène des personnages différents, sans recommencer la prise de vue.
La chorégraphie, le placement des produits, la lumière et les mouvements de caméra restent fondés sur le même tournage.
Cette approche pourrait simplifier la production de variations destinées à différents marchés, audiences ou saisons. Elle peut également servir à produire plusieurs versions d'une campagne sociale à partir d'un seul plan.
Dans le cinéma et les effets visuels, le modèle pourrait être utilisé pour remplacer un interprète dans une cascade déjà filmée, expérimenter différents personnages ou préparer des versions provisoires d'une scène.
Pour les applications sociales, le fonctionnement est plus direct : un utilisateur fournit une photographie et peut se retrouver dans une chorégraphie ou une séquence vidéo existante.
Ces usages restent soumis à une condition importante : disposer des droits nécessaires