What is R-SWA?

Variante de l'attention à fenêtre glissante (Sliding Window Attention) : chaque élément regarde sa fenêtre locale récente plus un ensemble d'éléments de référence (images-clés, jetons d'ancrage), pour préserver la cohérence sur de longues séquences sans le coût de l'attention complète.