Qu'est-ce que KVPress ?

Bibliothèque NVIDIA qui applique des méthodes de compression au KV cache des LLM, notamment pendant la phase de pré-remplissage et parfois le décodage, pour réduire le coût mémoire des longs contextes.