Natural gradients and kernel methods for Physics Informed Neural Networks (PINNs)

Gradients naturels et méthodes à noyaux pour les réseaux de neurones informés par la physique (PINNs) Les Physics-Informed Neural Networks (PINNs) ont émergé ces dernières années comme un paradigme prometteur pour la résolution d’équations aux dérivées partielles (EDP), en intégrant directement les contraintes physiques dans l’entraînement des réseaux de neurones. Malgré leur attrait conceptuel et leur adoption rapide dans de nombreux domaines scientifiques et industriels, les PINNs souffrent souvent d’un manque de précision et de robustesse comparés aux méthodes numériques classiques. Ces limitations ont suscité un large corpus de travaux visant à améliorer les algorithmes, à optimiser les stratégies d’apprentissage, et à analyser plus finement leurs comportements théoriques. L’objectif de cette thèse est de faire progresser ces recherches selon deux directions complémentaires. D’une part, sur le plan algorithmique, nous visons à concevoir des schémas d’entraînement plus efficaces pour les PINNs, en hybridant des outils issus des méthodes à noyaux et des gradients naturels. D’autre part, sur le plan théorique, nous cherchons à ancrer les PINNs dans un cadre mathématique plus rigoureux. En les inscrivant dans le langage des espaces de Hilbert à noyaux reproduisants (RKHS), de la théorie des opérateurs et de l’analyse spectrale, nous clarifions leur structure, les relions aux méthodes variationnelles, et contribuons à une meilleure compréhension mathématique des PINNs. Après avoir introduit les objets fondamentaux (réseaux de neurones et PINNs et RKHS), nous présentons nos contributions, regroupées en deux articles. \textbf{1. ANaGRAM.} Nous établissons une nouvelle connexion entre méthodes à noyaux et gradient naturel, menant à la notion de \emph{gradient naturel empirique}. Nous introduisons \emph{l’algorithme ANaGRAM}, un algorithme d’entraînement exploitant systématiquement cette relation. Cette approche améliore les performances numériques tout en fournissant un lien conceptuel entre gradient naturel et fonctions de Green. \textbf{2. AMStraMGRAM.} Notre deuxième contribution étudie la dynamique d'ANaGRAM. Nous analysons le rôle de la régularisation par cutoffs spectraux, que nous réinterprétons en termes d'imposition d'isométries et que nous relions à la théorie des fonctions de Green et des noyaux reproduisants. Ce point de vue éclaire en quoi les cutoffs renforcent stabilité et précision, et motive un nouvel algorithme à \emph{cutoffs adaptatifs}, ajustant dynamiquement la régularisation au cours de l’entraînement : \emph{AMStraMGRAM}. \medskip Notons enfin que nous ouvrons au cours de notre exposé, une perspective vers le formalisme plus général des noyaux de Schwartz, qui englobe à la fois les noyaux reproduisants et les Riggings de Hilbert. Ce cadre offre des pistes prometteuses pour inscrire les PINNs et les méthodes de gradient naturel dans un contexte d'analyse fonctionnelle encore plus riche. Ces contributions visent à la fois à améliorer l’efficacité pratique et à renforcer les fondements théoriques des PINNs. Elles soulignent que les points de vue géométriques et fondés sur les noyaux ne sont pas seulement des outils pour accroître les performances, mais constituent aussi un langage adéquat pour intégrer les PINNs dans le paysage plus large de l’analyse numérique et fonctionnelle.