Runway ouvre le décodeur Rust qui nourrit ses modèles vidéo en données

Runway ouvre en open source AVTensor, le décodeur média écrit en Rust qui alimente ses propres pipelines d'entraînement. Sa fonction : transformer des fichiers vidéo et audio en tenseurs PyTorch, l'étape par laquelle un modèle de génération vidéo reçoit ses données.

L'outil traite la vidéo et l'audio sur une même timeline, synchronisés, et les envoie directement dans PyTorch, sans bibliothèque intermédiaire. Il pratique aussi le redimensionnement au moment du décodage plutôt qu'après coup, une opération que Runway revendique jusqu'à six fois plus rapide que torchcodec, le décodeur de référence de l'écosystème PyTorch signé Meta.

L'enjeu est celui d'un goulot d'étranglement souvent négligé. À grande échelle, les processeurs graphiques d'un entraînement peuvent rester à l'arrêt en attendant que les données soient décodées et mises en forme, ce qui gâche du temps de calcul. En accélérant cette étape, AVTensor a amélioré le MFU (Model FLOPs Utilization, soit la part de puissance de calcul réellement exploitée) de l'entraînement de Runway de 1,8 point de pourcentage, selon l'entreprise. Le code est désormais public.