On ne dirige pas vraiment un modèle vidéo, alors on lui impose la mise en scène

Le principe est celui d'un partage des rôles. Une scène 3D grossière, faite de boîtes grises sans texture, fixe la géométrie : action, trajectoires, placement des caméras, minutage, points de coupe. Des modèles d'image fixent le style, via des références validées et une image clé par plan. Reste alors à convertir la matière brute en pixels finaux : c'est le rôle de 3DREAL, un LoRA entraînée pour le modèle vidéo LTX 2.3, dont Lovis Odin et fal publient une nouvelle version, Strong v2.

Le modèle reçoit le clip 3D lui-même comme conditionnement dense (mouvement, disposition, caméra) plus une image clé comme ancre d'apparence. Entraînée sur des séquences appariant rendus 3D et prises de vue photoréalistes d'une même composition, la LoRA apprend à repeindre les surfaces sans toucher à la géométrie. Trois adaptateurs dosent la transformation, du plus fidèle au plus agressif ; Strong v2 ajoute la cohérence d'un plan à l'autre au sein d'un même clip, la génération d'audio synchronisé, un meilleur traitement des personnages qui parlent, et une image plus nette.

La démonstration est un court-métrage d'action, un pick-up des années 1930 qui saute par-dessus un train à vapeur dans une ville désertique. La scène Blender entière, modélisation, animation, caméras, a été bâtie par Claude Fable via le Blender MCP, sans intervention manuelle sur la géométrie. L'auteur insiste sur la méthode plutôt que sur le tour de magie : trois prompts, un par phase, avec un point de validation humain entre chacune, plus des outils de vérification que le pipeline se fabrique à lui-même (contrôles de visibilité par lancer de rayons, superposition à cinquante pour cent des images clés sur le rendu gris pour traquer les dérives de perspective).

Les poids de 3DREAL sont publiés sur Hugging Face, et un endpoint hébergé chez fal exécute le même traitement.