Sampling with the Langevin Monte-Carlo

L’échantillonnage avec Langevin Monte-Carlo L’échantillonnage des lois aléatoires est un problème de taille en statistique et en machine learning. Les approches générales sur ce sujet sont souvent divisées en deux catégories: fréquentiste vs bayésienne. L’approche fréquentiste corresponds à la minimisation du risque empirique, c’est à dire à l’estimation du maximum vraisemblance qui est un problème d’optimisation, tandis que l’approche bayésienne revient à intégrer la loi postérieure. Cette dernière approche nécessite souvent des méthodes approximatives car l’intégrale n’est généralement pas tractable. Dans ce manuscrit, nous allons étudier la méthode de Langevin, basée sur la discrétisation de l’EDS de Langevin. La première partie de l’introduction pose le cadre mathématique et l’intérêt d’étudier plus avant la question de l'échantillonnage. La suite de l’introduction s’attache à la présentation des méthodes d’échantillonnage.Le premier article concerne les bornes non-asymptotiques sur la convergence en distance de Wasserstein de Langevin Monte-Carlo pour les fonctions de potentiel lisses et fortement convexes. Nous établissons d’abord des bornes explicites pour LMC avec des step-sizes variantes?. Puis nous étudions la convergence pour des fonctions de potentiel avec des gradients stochastiques. Enfin, deux types de discrétisation sont présentés, pour les potentiels plus réguliers.Dans la deuxième article nous abordons le problème d’échantillonnage de loi log-concave (pas fortement) en utilisant LMC, KLMC et KLMC2. Nous proposons une pénalisation quadratique constante de la fonction de potentiel. Puis nous prouvons des bornes non-asymptotiques sur l’erreur de Wasserstein de ces méthodes pour le choix de pénalisation optimale. Enfin, nous soulignons l’importance du choix de l’échelle pour le mesurage des complexités des différentes méthodes.La troisième contribution principales est concentrée sur la convergence de la diffusion de Langevin dans le case log-concave. Une pénalisation variable dans le temps est proposée pour la fonction de potentiel. Nous prouvons des bornes explicites pour cette méthode nommée Penalized Langevin Dynamics. A la fin, le lien entre les algorithmes de Langevin et l’optimisation convexe est établi, ce qui nous permet de prouver des bornes similaires pour le gradient flow.