Sur une minute de film généré, un benchmark place Runway en tête

Le benchmark Physion-Arc 1.0 évalue six agents vidéo sur une minute. Runway Agent 2.0 domine le classement mais bute encore sur les raccords de chapitres.

Un nouveau benchmark signé Physion Labs, Physion-Arc 1.0, s'attaque aux vidéos d'une minute produites par des agents vidéo, quand son prédécesseur Atlas 1.0 se limitait à des clips de quelques secondes. L'enjeu affiché dépasse la correction technique : une vidéo peut suivre son scénario tout en étant mal réalisée, plate ou visuellement incohérente.

Le protocole s'organise autour de trois dimensions, déclinées en seize métriques : la cohérence narrative, le langage cinématographique et la qualité de production. Pour situer les défauts au bon niveau, la vidéo est découpée en chapitres et le scénario en beats, l'unité la plus fine marquant un changement d'action ou d'intention. Des évaluateurs humains notent les critères objectifs sur une grille, tandis que les qualités subjectives, rythme, impact émotionnel, goût cinématographique, passent par des comparaisons A/B en aveugle agrégées à la manière d'une arène.

Cent scénarios tirés de T2F-Bench ont été soumis à six agents commerciaux, Runway Agent 2.0, Utopai PAI 2.0, MiniMax Hub, Luma Creative Agents, TapNow Agent et Kling Canvas Agent, pour six cents vidéos d'une minute. Selon Physion Labs, Runway Agent 2.0 arrive premier au classement général avec 87 points sur 100 et domine les trois dimensions, avec une avance nette sur les métriques subjectives. Un enseignement ressort : la cohérence tient bien à l'intérieur d'un chapitre mais se dégrade d'un chapitre à l'autre, l'identité des personnages étant la première à décrocher.

L'équipe relève aussi qu'aucun des six agents n'a tourné sans intervention, entre générations qui calent et assemblage repris à la main. Elle rattache le tout à un chantier plus large, des world critics capables de juger si une vidéo garde sa cohérence, son rythme et son sens dans la durée, prolongement de ses travaux sur l'évaluation des World Models.