beignet : une nouvelle architecture neuronale réduit jusqu'à 17 fois l'erreur dans la résolution d'équations physiques

Des chercheurs de Caltech et Google DeepMind présentent beignet, une architecture neuronale utilisant Fourier pour résoudre plus précisément des équations physiques.

Reproduire l'évolution d'une vague, la propagation d'une réaction chimique ou l'apparition d'une singularité mathématique exige de résoudre des équations dont le comportement peut changer brutalement à de très petites échelles. Les réseaux neuronaux informés par la physique offrent une autre manière d'aborder ces calculs, mais peinent encore à atteindre la précision de certaines méthodes numériques classiques. Une équipe de chercheurs du California Institute of Technology et de Google DeepMind propose une nouvelle architecture appelée beignet, pour Bandlimited Embedding with Interpolated Grid Network. Son principe consiste à remplacer les représentations fréquentielles aléatoires habituellement utilisées par une pyramide de fréquences de Fourier organisée sur plusieurs résolutions. Dans quatre évaluations d'équations différentielles, cette approche réduit l'erreur relative d'un facteur compris entre environ 6 et 17 face à PirateNet, avec moins de paramètres. Les réseaux neuronaux face aux équations de la physique

Les équations aux dérivées partielles décrivent de nombreux phénomènes naturels : le transport de chaleur, la circulation des fluides, la propagation des ondes ou l'évolution de réactions chimiques. Leur résolution consiste à déterminer comment une grandeur varie dans l'espace et dans le temps, à partir de conditions initiales et de contraintes physiques. Lorsque les solutions présentent des oscillations rapides, des interfaces très marquées ou des gradients importants, obtenir un résultat numérique précis devient particulièrement difficile.

Les Physics-Informed Neural Networks (PINN) abordent le problème en représentant la solution recherchée par un réseau neuronal. Plutôt que d'apprendre uniquement à partir d'exemples de solutions, le modèle est entraîné à respecter directement l'équation physique. Ses prédictions sont évaluées en différents points de l'espace, puis corrigées afin de réduire l'écart entre leurs dérivées et les relations mathématiques imposées.

Cette méthode rencontre cependant un problème connu sous le nom de biais spectral. Les réseaux neuronaux apprennent généralement plus facilement les variations lentes que les détails de haute fréquence. Ils peuvent donc reproduire correctement l'allure générale d'un phénomène tout en manquant ses structures les plus fines. Agrandir le réseau ou augmenter les fréquences utilisées pour représenter le signal ne suffit pas toujours : le calcul devient plus coûteux et l'entraînement peut perdre en stabilité. Une pyramide de Fourier plutôt qu'un réseau toujours plus grand

Beignet modifie principalement la manière dont les coordonnées sont représentées avant d'être traitées par le réseau neuronal. Les méthodes habituelles utilisent souvent des fonctions sinusoïdales dont les fréquences sont sélectionnées aléatoirement. Les chercheurs remplacent cette distribution par une pyramide de grilles de Fourier entraînables, allant des représentations les plus grossières aux plus détaillées.

Chaque étage de la pyramide représente une gamme de fréquences spatiales. Pour calculer la valeur d'un champ physique à une position donnée, beignet interpole les informations contenues dans les différentes grilles, les rassemble, puis les transmet à un petit réseau neuronal chargé de produire le résultat. Cette organisation permet d'ajuster la quantité d'information consacrée aux grandes structures et aux détails fins sans nécessairement augmenter la taille du réseau principal.

L'avantage tient aussi au contrôle de la fréquence maximale représentée. Certaines équations nécessitent de couvrir un large spectre pour restituer des changements brusques, tandis que d'autres bénéficient d'une représentation concentrée sur des fréquences plus basses. Une gamme trop étendue peut amplifier les erreurs lors du calcul des dérivées. Avec beignet, les chercheurs peuvent choisir explicitement la résolution des grilles et répartir la capacité du modèle selon les caractéristiques de chaque problème. La transformée de Fourier accélère le calcul des dérivées

L'autre particularité de beignet concerne le calcul des dérivées spatiales, indispensables pour vérifier qu'une solution respecte une équation physique. Dans les PINN traditionnels, ces dérivées sont souvent obtenues au moyen de la différentiation automatique appliquée au réseau. Lorsque les équations nécessitent des dérivées d'ordre élevé, la quantité de calcul et la mémoire mobilisée peuvent augmenter rapidement.

Beignet exploite la transformée de Fourier rapide (FFT) pour calculer efficacement les dérivées de ses représentations fréquentielles sur des grilles structurées. Les résultats sont ensuite combinés avec les dérivées du petit réseau neuronal grâce à la règle de dérivation des fonctions composées. L'architecture évite ainsi de faire reposer tout le travail sur un réseau de grande taille.

Pour les problèmes évoluant dans le temps, les auteurs ajoutent plusieurs représentations correspondant à différentes étapes temporelles, puis interpolent entre elles. Cette solution permet de conserver les avantages de Fourier pour l'espace sans imposer artificiellement une évolution périodique dans le temps. Les chercheurs introduisent également de légers décalages aléatoires des grilles pendant l'entraînement afin de limiter les erreurs qui pourraient rester invisibles entre les points de calcul. Jusqu'à 17 fois moins d'erreur sur quatre équations

Les performances ont été évaluées sur quatre problèmes de la suite JAX-PI : Allen–Cahn, Korteweg–de Vries, Ginzburg–Landau et Gray–Scott. Ces équations présentent des difficultés différentes, allant de la propagation d'ondes à l'évolution de systèmes de réaction-diffusion produisant des motifs complexes. Les auteurs comparent leur architecture à JAX-PI et PirateNet, deux approches existantes de réseaux informés par la physique.

Sur Allen–Cahn, beignet atteint une erreur relative L2 de 1,88 × 10⁻⁶, contre 1,21 × 10⁻⁵ pour PirateNet, soit une erreur environ 6,4 fois plus faible. Sur