A dynamical system perspective οn stοchastic and iΙnertial methοds fοr optimizatiοn

Une perspective des systèmes dynamiques sur les méthodes stochastiques et inertielles pour l'optimisation Motivé par l'omniprésence de l'optimisation dans de nombreux domaines de la science et de l'ingénierie, en particulier dans la science des données, ce manuscrit de thèse exploite le lien étroit entre les systèmes dynamiques dissipatifs à temps continu et les algorithmes d'optimisation pour fournir une analyse systématique du comportement global et local de plusieurs systèmes du premier et du second ordre, en se concentrant sur le cadre convexe, stochastique et en dimension infinie d'une part, et le cadre non convexe, déterministe et en dimension finie d'autre part. Pour les problèmes de minimisation convexe stochastique dans des espaces de Hilbert réels séparables de dimension infinie, notre proposition clé est de les analyser à travers le prisme des équations différentielles stochastiques (EDS) et des inclusions différentielles stochastiques (IDS), ainsi que de leurs variantes inertielles. Nous considérons d'abord les problèmes convexes différentiables lisses et les EDS du premier ordre, en démontrant une convergence faible presque sûre vers les minimiseurs sous hypothèse d'intégrabilité du bruit et en fournissant une analyse globale et locale complète de la complexité. Nous étudions également des problèmes convexes non lisses composites utilisant des IDS du premier ordre et montrons que, sous des conditions d'intégrabilité du bruit, la convergence faible presque sûre des trajectoires vers les minimiseurs, et avec la régularisation de Tikhonov la convergence forte presque sûre des trajectoires vers la solution de norme minimale. Nous développons ensuite un cadre mathématique unifié pour analyser la dynamique inertielle stochastique du second ordre via la reparamétrisation temporelle et le moyennage de la dynamique stochastique du premier ordre, ce qui permet d'obtenir une convergence faible presque sûre des trajectoires vers les minimiseurs et une convergence rapide des valeurs et des gradients. Ces résultats sont étendus à des EDS plus générales du second ordre avec un amortissement visqueux et Hessien, en utilisant une analyse de Lyapunov spécifique pour prouver la convergence et établir de nouveaux taux de convergence. Enfin, nous étudions des problèmes d'optimisation déterministes non convexes et proposons plusieurs algorithmes inertiels pour les résoudre, dérivés d'équations différentielles ordinaires (EDO) du second ordre combinant à la fois un amortissement visqueux sans vanité et un amortissement géométrique piloté par le Hessien, sous des formes explicites et implicites. Nous prouvons d'abord la convergence des trajectoires en temps continu des EDO vers un point critique pour des objectives vérifiant la propriété de Kurdyka-Lojasiewicz (KL) avec des taux explicites, et génériquement vers un minimum local si l'objective est Morse. De plus, nous proposons des schémas algorithmiques par une discrétisation appropriée de ces EDO et montrons que toutes les propriétés précédentes des trajectoires en temps continu sont toujours valables dans le cadre discret sous réserve d'un choix approprié de la taille du pas.