What is Mixture of Experts?

Architecture où seules quelques sous-parties spécialisées du modèle s'activent par requête, pour plus d'efficacité.