Higgsfield Genjutsu change le casting sans refaire le plan

Higgsfield lance Genjutsu, un outil vidéo qui transpose les mouvements, la caméra et le rythme d’un plan vers de nouveaux personnages, décors ou produits.

Une scène de combat reste chorégraphiée de la même manière, mais ses acteurs et son décor changent. Les gestes, les déplacements et les mouvements de caméra sont repris, tandis qu’une vallée pastel remplace le lieu d’origine. C’est la proposition de Genjutsu, le nouvel outil de transformation vidéo de Higgsfield.

Le service part d’un plan existant plutôt que d’une simple instruction textuelle. Cette vidéo fournit la structure temporelle de la nouvelle séquence : jeu des acteurs, expressions, mouvements des lèvres, rythme, trajectoire de la caméra et effets visuels. L’utilisateur ajoute ensuite des images représentant les personnages, les vêtements, les objets, les produits ou le lieu qu’il souhaite retrouver dans le résultat.

Higgsfield présente Genjutsu comme son outil de transformation vidéo le plus avancé. L’entreprise affirme pouvoir transférer avec précision le mouvement d’un plan, y compris le jeu d’acteur, la synchronisation labiale, les déplacements de caméra et les effets. Cette formulation décrit l’objectif du système, mais ne constitue pas une mesure indépendante de sa fidélité.

Genjutsu propose deux techniques. La première, baptisée Motion Transfer, conserve principalement le mouvement, le cadrage, la caméra et le minutage. Les éléments visuels entourant cette structure sont reconstruits à partir des références fournies. Un combat filmé avec deux acteurs peut ainsi être rejoué par d’autres personnages dans un environnement différent sans reproduire manuellement la chorégraphie.

Cette technique ne correspond pas à une simple incrustation. Les nouveaux personnages et le nouveau décor doivent être intégrés aux positions, aux perspectives et aux variations de lumière de la vidéo d’origine. Le système régénère donc une grande partie du plan tout en essayant de suivre sa dynamique.

La seconde technique, Object Swap, vise une modification plus localisée. L’utilisateur peut remplacer un personnage, une tenue, un produit, un accessoire ou un lieu en demandant à Genjutsu de conserver le reste de la séquence. Dans un exemple officiel, le défenseur d’un combat est remplacé par une femme dont la montre doit rester visible à son poignet.

La frontière entre les deux modes tient à l’étendue de la transformation. Motion Transfer réinterprète la scène autour du mouvement d’origine. Object Swap cherche à toucher un élément précis sans modifier inutilement les autres. Le second mode se rapproche d’une retouche vidéo guidée, même si le résultat reste généré et peut donc introduire des différences dans des zones qui n’étaient pas directement visées.

Le processus commence par le choix du mode, puis par l’importation d’une vidéo. Des images de référence servent à définir les nouvelles identités et les éléments visuels attendus. L’utilisateur peut sélectionner l’un des nombreux préréglages proposés ou ajouter une courte description. Higgsfield précise qu’une instruction détaillée n’est pas obligatoire.

La présentation officielle de Genjutsu mentionne des vidéos sources allant actuellement de 3 à 30 secondes et jusqu’à 40 images de référence par génération. Le guide publié sur le site de Higgsfield indique de son côté une durée minimale de 4 secondes et une limite de 30 références.

Ces différences peuvent provenir d’une modification récente du produit qui n’a pas encore été répercutée sur toutes les pages. Elles empêchent néanmoins de fixer une limite unique à partir de la documentation publique. Les valeurs affichées directement dans l’interface au moment d’une génération restent les plus fiables.

Les sorties peuvent atteindre une définition de 1080p. Higgsfield ne fournit pas de durée de traitement garantie, de configuration technique détaillée ni de mesure comparant le mouvement de la vidéo source à celui du résultat. Il n’est donc pas possible d’évaluer publiquement l’écart image par image ou la stabilité de cette fidélité selon le type de scène.

Les séquences courtes et clairement lisibles devraient être les plus adaptées au dispositif. Une action rapide, un objet masqué par le corps, des mains en contact, plusieurs personnages qui se croisent ou une caméra fortement mobile compliquent la reconstruction. Les accessoires fins, les inscriptions, les logos et les détails d’un produit peuvent également varier pendant le plan.

La conservation de la synchronisation labiale mérite la même prudence. Higgsfield affirme que les mouvements de la bouche font partie des informations transférées, mais ne publie pas de test portant sur différents angles de visage, langues, cadences de parole ou situations d’occlusion. Les pages de lancement ne précisent pas non plus clairement la manière dont la piste sonore d’origine est conservée, remplacée ou exportée.

Le modèle vise d’abord les situations dans lesquelles le mouvement existe déjà, mais où l’apparence du plan doit changer. Un réalisateur peut filmer une maquette avec son téléphone, puis essayer de remplacer la tenue, le décor ou l’interprète. La vidéo source devient alors une forme de prévisualisation animée beaucoup plus précise qu’une description écrite.

Cette logique peut réduire le besoin de retourner certains plans, sans supprimer le travail de production. Une référence mal choisie, un mouvement incompatible avec le nouveau personnage ou un décor possédant une perspective différente peuvent produire des incohérences. La préparation des images, la sélection des prises et la vérification du résultat restent nécessaires.

Higgsfield met particulièrement en avant les clips musicaux. Une chorégraphie et un montage déjà synchronisés avec la musique peuvent être transposés vers un autre univers visuel. Le changement porte sur les interprètes ou le décor, tandis que les mouvements et les coupes conservent leur rythme.

La publicité constitue un autre débouché direct. Une marque pourrait reprendre un plan existant pour modifier le produit présenté, le lieu ou le profil des personnages. Plusieurs versions régionales conserveraient la même mise en scène tout en utilisant des