What is Distillation?

Transfert du savoir d'un grand modèle vers un modèle plus petit et plus rapide.