Filmé sans le son ? pas de problème, LoRA Foley s'en charge

Le LoRA Foley génère une piste sonore synchronisée sur vos vidéos muettes. Un adaptateur open weights pour LTX-2.3-22B qui cible les bruits du quotidien.

Le modèle LTX-2.3-22B accueille un LoRA spécialisé qui synthétise un bruitage calé sur l'image des clips silencieux, à partir d'un prompt décrivant l'action visible. Le même adaptateur accepte aussi des prompts texte-vers-audio.

L'adaptateur cible les blocs d'attention audio et la cross-attention vidéo vers audio, garde les images d'entrée figées et ne synthétise que la piste sonore. Il ajoute ou régénère le bruitage de clips silencieux, pas, chocs, matières, ambiances, outils, cuisine, météo, à partir d'un prompt qui décrit l'action visible à l'écran. L'entraînement, mené sur environ cinq mille trois cents clips courts, privilégie un checkpoint intermédiaire (step 500) : pousser plus loin améliorait le rejet de la musique mais écrasait le volume.

Le périmètre reste volontairement étroit. Pas de dialogue ni de synthèse vocale, pas de musique, pas de lip-sync, et l'éditeur précise que l'outil ne remplace ni un mixage de production complet ni une bibliothèque d'effets sous licence quand les droits comptent. Un prompt qui ne colle pas à l'image produit un son plausible mais désynchronisé.

Le LoRA se récupère en open weights au format safetensors et se charge dans ComfyUI sur le modèle de base, via le workflow vidéo-vers-audio dédié. Distribution sous licence communautaire LTX-2, une partie du jeu de données restant soumise à des conditions non commerciales.