Remplacer le décodeur sans toucher au reste

Le décodeur PrunaVAED de Pruna AI divise par deux le temps de rendu final sur LTX-2.3. Une baisse de mémoire vidéo qui fluidifie la production de clips.

Un modèle de génération vidéo ne travaille pas directement sur des pixels. Il manipule une représentation compressée, le latent, qu'une dernière brique appelée décodeur retransforme en images visibles. Cette étape finale coûte cher en mémoire, et c'est elle que vise PrunaVAED, une version allégée du décodeur de LTX-2.3 signée Pruna AI.

L'intérêt tient au caractère interchangeable. L'encodeur et le format de latent restent identiques, si bien que la brique se substitue à l'originale sans rien modifier en amont. Sur une carte H100 en bfloat16, l'éditeur mesure un décodage de cinq secondes en 720p ramené de 841 à 500 millisecondes, et de dix secondes en 1080p de 4903 à 2356, soit des accélérations comprises entre 1,67 et 2,08 fois selon la longueur et la définition, pour un pic de mémoire vidéo réduit d'environ la moitié.

La méthode combine élagage, réentraînement et distillation. Le décodeur reste rigoureusement identique à l'original sur ses premières étapes, la réduction ne commençant qu'ensuite, par un retrait de 25 % puis de 50 % des canaux sur les blocs suivants. Le décodeur passe ainsi de 407 à 345 millions de paramètres. Les écarts visuels mesurés sur deux cents clips restent faibles, avec un SSIM supérieur à 0,98 et un indicateur dédié à la stabilité entre images consécutives.

Les limites sont posées franchement. Les mesures proviennent d'une seule carte, à taille de lot unitaire, sur deux pipelines LTX-2.3 seulement, et les gains varient selon le matériel et les réglages. La sortie n'est pas exacte au bit près par rapport au décodeur d'origine, ne remplace ni le générateur ni le débruiteur, et n'accepte pas des latents venus d'ailleurs. Enfin, s'agissant d'un dérivé de LTX-2.3, la distribution passe par la licence communautaire LTX-2 et ses restrictions d'usage, non par une licence libre.