Combining supervised deep learning and scientific computing : some contributions and application to computational fluid dynamics

Contributions à la combinaison entre apprentissage profond supervisé et calcul scientifique, application à la simulation de dynamique des fluides. Cette thèse s’inscrit dans le domaine émergent de l’apprentissage automatique scientifique, qui étudie l’application de l’apprentissage automatique au calcul scientifique. Plus précisément, nous nous intéressons à l’utilisation de l’apprentissage profond pour accélérer des simulations numériques.Pour atteindre cet objectif, nous nous concentrons sur l’approximation de certaines parties des logiciels de simulation basés sur des Equations Différentielles Partielles (EDP) par un réseau de neurones. La méthodologie proposée s'appuie sur la construction d’un ensemble de données, la sélection et l'entraînement d’un réseau de neurones et son intégration dans le logiciel original, donnant lieu à une simulation numérique hybride. Malgré la simplicité apparente de cette approche, le contexte des simulations numériques implique des difficultés spécifiques. Puisque nous visons à accélérer des simulations, le premier enjeu est de trouver un compromis entre la précision des réseaux de neurones et leur temps d’exécution. En effet, l’amélioration de la première implique souvent la dégradation du second. L’absence de garantie mathématique sur le contrôle de la précision numérique souhaitée inhérent à la conception du réseau de neurones par apprentissage statistique constitue le second enjeu. Ainsi nous souhaiterions maitriser la fiabilité des prédictions issues de notre logiciel de simulation hybride. Afin de satisfaire ces enjeux, nous étudions en détail chaque étape de la méthodologie d’apprentissage profond. Ce faisant, nous mettons en évidence certaines similitudes entre l'apprentissage automatique et la simulation numérique, nous permettant de présenter des contributions ayant un impact sur chacun de ces domaines.Nous identifions les principales étapes de la méthodologie d’apprentissage profond comme étant la constitution d’un ensemble de données d’entraînement, le choix des hyperparamètres d’un réseau de neurones et son entraînement. Pour la première étape, nous tirons parti de la possibilité d’échantillonner les données d’entraînement à l'aide du logiciel de simulation initial pour caractériser une distribution d’entraînement plus efficace basée sur la variation locale de la fonction à approcher. Nous généralisons cette observation pour permettre son application à des problèmes variés d’apprentissage automatique en construisant une méthodologie de pondération des données appelée ”Variance Based Sample Weighting”. Dans un deuxième temps, nous proposons l’usage de l’analyse de sensibilité, une approche largement utilisée en calcul scientifique, pour l’optimisation des hyperparamètres des réseaux de neurones. Cette approche repose sur l’évaluation qualitative de l’effet des hyperparamètres sur les performances d’un réseau de neurones à l'aide du critère d'indépendance de Hilbert-Schmidt. Les adaptations au contexte de l’optimisation des hyperparamètres conduisent à une méthodologie interprétable permettant de construire des réseaux de neurones à la fois performants et précis. Pour la troisième étape, nous définissons formellement une analogie entre la résolution stochastique d’EDPs et le processus d’optimisation en jeu lors de l'entrainement d’un réseau de neurones. Cette analogie permet d’obtenir un cadre pour l’entraînement des réseaux de neurones basé sur la théorie des EDPs, qui ouvre de nombreuses possibilités d’améliorations pour les algorithmes d’optimisation existants. Enfin, nous appliquons ces méthodologies à une simulation numérique de dynamique des fluides couplée à un code d’équilibre chimique multi-espèces. Celles-ci nous permettent d’atteindre une accélération d’un facteur 21 avec une dégradation de la précision contrôlée ou nulle par rapport à la p rédiction initiale.