Open-H3-Regenerate-2K régénère les vidéos en 4K avec seulement trois étapes de diffusion
Open-H3-Regenerate-2K régénère les vidéos jusqu'en 4K avec trois étapes de diffusion, des poids téléchargeables et un traitement 2K accéléré.
Transformer une vidéo basse résolution en une séquence 4K réellement retravaillée par l'IA, plutôt que simplement agrandie. Une équipe de chercheurs associée aux travaux de NVIDIA sur la génération vidéo dévoile Open-H3-Regenerate-2K, un système capable de reconstruire les détails d'une séquence en seulement trois étapes de diffusion. Les résultats peuvent atteindre 3 840 × 2 160 pixels, avec une durée de cinq à quinze secondes par traitement.
Le projet propose une alternative téléchargeable à H3-Regenerate-2K, le service propriétaire de MiniMax destiné à améliorer les vidéos produites par son modèle H3. Contrairement à l'API officielle, limitée à des entrées H3 spécifiques et à une sortie 2K, la nouvelle solution accepte également des séquences provenant d'autres générateurs vidéo.
L'équipe annonce par ailleurs une accélération importante de l'inférence. Sur un GPU NVIDIA B200, le traitement d'une vidéo de cinq secondes en 2K passe de 87,26 à 22,45 secondes grâce aux optimisations de SoL-Engine et à un décodeur vidéo spécialisé. Reconstruire les détails plutôt que simplement agrandir l'image
Les générateurs vidéo produisent souvent leurs premières séquences dans une résolution relativement modeste. C'est à cette étape que le modèle définit la composition, les mouvements, les personnages et les déplacements de caméra.
La production d'une image plus détaillée intervient ensuite.
Un simple agrandissement peut augmenter le nombre de pixels, mais il ne recrée pas nécessairement les textures qui n'existaient pas dans la vidéo d'origine. Les cheveux, les tissus, les visages ou les feuillages peuvent ainsi paraître mous ou artificiels.
Open-H3-Regenerate-2K utilise une approche différente.
Le système conserve la structure générale de la vidéo, puis soumet sa représentation numérique à un nouveau processus génératif. Le modèle tente alors de reconstruire des détails visuels adaptés à la résolution de sortie, sans réinventer entièrement la scène.
Cette distinction est importante : il ne s'agit pas d'un simple filtre de netteté ou d'un redimensionnement traditionnel, mais d'une régénération vidéo guidée par le contenu initial.
La fidélité aux mouvements et à l'identité des personnages reste un enjeu central. Toute modification trop importante peut produire un détail convaincant sur une image, mais incohérent sur les suivantes. De la 384p à la 4K, même avec d'autres générateurs que MiniMax
L'API officielle H3-Regenerate-2K de MiniMax accepte les séquences natives de H3 en 768p et produit une version en 2K.
Open-H3-Regenerate-2K propose davantage de flexibilité.
Il peut recevoir des vidéos en 384p, 512p, 576p ou 768p et produire plusieurs résolutions de sortie.
Résolution de sortie · Dimensions 768p · 1 344 × 768 1080p · 1 920 × 1 080 2K · 2 560 × 1 440 4K · 3 840 × 2 160
Le modèle peut traiter des séquences de 5 à 15 secondes en une seule passe.
L'équipe présente notamment une vidéo de quinze secondes, soit 360 images, régénérée en 2K sans découpage en segments indépendants.
Elle montre aussi des résultats obtenus à partir de séquences produites par LTX-2 et SANA-Video, et non uniquement par MiniMax H3.
Pour les studios utilisant plusieurs modèles génératifs, cette compatibilité représente un intérêt pratique. Elle permet d'envisager un même processus de finition sur des vidéos provenant de différentes plateformes.
La prise en charge de plusieurs sources ne signifie toutefois pas que tous les générateurs produiront des résultats équivalents. La qualité initiale, la stabilité temporelle et les artefacts déjà présents influencent nécessairement le résultat. Trois étapes de diffusion pour reconstruire une séquence
Le fonctionnement repose sur une chaîne relativement courte comprenant l'encodage de la vidéo, l'agrandissement de sa représentation latente, la régénération et le décodage final.
Le modèle H3 utilise un VAE vidéo, chargé de convertir les images en une représentation compressée, appelée latent.
Plutôt que de décoder cette représentation, d'agrandir toutes les images puis de les encoder à nouveau, Open-H3-Regenerate-2K utilise H3-Latent-Upscaler, un réseau de convolutions 3D capable d'agrandir directement les données latentes.
Cette méthode évite une opération coûteuse lorsque la résolution cible atteint la 2K ou la 4K.
Une fois le latent agrandi, le système lui réinjecte une quantité contrôlée de bruit avant de procéder à trois étapes successives de débruitage.
Le modèle reconstruit alors les textures et les détails à la résolution finale.
L'architecture s'appuie sur le modèle de diffusion de MiniMax H3, mais l'équipe conserve son réseau principal gelé pendant l'entraînement du module d'amélioration.
Seul un adaptateur LoRA spécifique au raffinement est entraîné pour apprendre à reconstruire les informations visuelles manquantes.
Ce choix évite de devoir réentraîner intégralement un grand générateur vidéo. Un entraînement sur des vidéos volontairement dégradées
Pour apprendre à restaurer les détails, les chercheurs utilisent des vidéos de haute qualité comme références.
Chaque séquence est dégradée artificiellement : elle est réduite d'un facteur compris entre huit et soixante-quatre, puis agrandie à nouveau.
Le résultat conserve l'essentiel de la composition et des mouvements, mais perd une grande partie des détails fins.
Le modèle reçoit cette version dégradée et doit reconstruire une représentation proche de l'enregistrement original.
Les données d'entraînement comprennent notamment des séquences en 1 280 × 704 et 2 560 × 1 440 pixels.
La méthode reprend la première étape de l'approche SoL-Refiner, consacrée à l'apprentissage du raffinement haute résolution.
Les étapes ultérieures de cette recherche, comprenant un post-entraînement par renforcement et une distillation vers un modèle fonctionnant en une seule étape, ne sont pas encore utilisées dans Open-H3-Regenerate-2K.
Pour accélérer l'inférence, l'équipe combine néanmoins son adaptateur avec deux composants développés par la communauté : FL2VA Turbo, issu de LightX2V,