Qu'est-ce que Pré-entraînement ?

Première phase d'entraînement sur un vaste corpus généraliste, avant toute spécialisation.