Kandinsky 6.0 réunit vidéo, son et lip-sync dans une génération open source

Kandinsky 6.0 passe à la vidéo avec audio synchronisé, lip-sync et Full HD, dans deux modèles open source Lite et Pro.

Kandinsky Lab ouvre une nouvelle étape avec Kandinsky 6.0 Video, une famille de modèles capables de générer simultanément une séquence vidéo et sa bande-son. Présentée dans un rapport de recherche publié sur arXiv et désormais disponible en open source sur GitHub, elle se décline en deux versions : Lite, avec 3 milliards de paramètres, et Pro, avec 29 milliards.

Les deux modèles produisent des clips de cinq secondes à partir d'un prompt ou d'une image, avec un son synchronisé en 44 kHz. Kandinsky Lab indique également prendre en charge la synchronisation labiale, tandis qu'un module de super-résolution permet d'obtenir une sortie jusqu'en Full HD 1920 × 1080. La génération du mouvement, des dialogues, des ambiances et des effets sonores est ainsi traitée au sein du même système plutôt que comme une étape audio ajoutée après la vidéo.

Pour relier les deux modalités, Kandinsky 6.0 repose sur une architecture CrossDiT à double flux. Une branche vidéo préentraînée est associée à une branche audio, avec des mécanismes d'attention croisée bidirectionnelle destinés à maintenir leur cohérence temporelle et sémantique. L'entraînement combine notamment préentraînement conjoint, fine-tuning supervisé, post-entraînement par renforcement et distillation. Selon les évaluations présentées par l'équipe, la version Pro progresse nettement face à Kandinsky 5.0 Pro et reste compétitive avec d'autres modèles de génération audio-vidéo, notamment sur la parole.

Kandinsky Lab publie le code, les checkpoints et l'intégration Diffusers sous licence MIT. Plusieurs variantes, dont Pro, Pro Distill, Lite et Lite Distill, sont déjà disponibles dans la collection Kandinsky 6.0 sur Hugging Face. La version Pro Distill fonctionne notamment en dix étapes d'inférence. L'écosystème comprend également une intégration ComfyUI et le support de vLLM-Omni.

Le lancement ne se limite pas à une publication destinée aux développeurs. Kandinsky 6.0 est déjà accessible via fal avec des versions Lite en text-to-video et Pro en text-to-video, ainsi que leurs déclinaisons image-to-video et les modèles VSR dédiés à la super-résolution. Sur fal, la génération Lite d'un clip de cinq secondes en 480p est actuellement affichée à 0,16 dollar, contre 1,35 dollar pour Pro, ce qui matérialise assez clairement le positionnement des deux versions : itération rapide d'un côté, génération plus lourde de l'autre.

Avec cette sixième génération, Kandinsky Lab rejoint plus directement le mouvement actuel vers des modèles vidéo natifs capables de prendre en charge l'image, le mouvement et le son dans un même processus. L'ouverture simultanée du code et des modèles rend surtout Kandinsky 6.0 intéressant au-delà de ses seules performances : il peut être testé, intégré et adapté sans dépendre exclusivement d'une plateforme propriétaire.