Large scale Bayesian inference

Inférences bayésiennes en grande dimension Cette thèse s'intéresse à divers problèmes d'échantillonnage. La première partie de ce travail est consacrée au problème de l'inférence Bayésienne. Dans ce contexte, les méthodes de Monte Carlo habituelles ont un coût de calcul qui croît linéairement avec le nombre de points de données. L'échantillonnage par des discrétisations de dynamiques de type Langevin, avec une estimation de la force par minibatching pour limiter le coût de calcul, permet une simulation plus efficace, mais induit un biais sur la mesure de probabilité effectivement échantillonnée. La dynamique de Langevin adaptative corrige automatiquement le bruit supplémentaire résultant du minibatching. Nous étudions la pertinence pratique des hypothèses qui sous-tendent la dynamique de Langevin adaptative (notamment covariance de l'estimateur de la force constante), qui ne sont pas satisfaites pour certains modèles typiques d'inférence Bayésienne, et nous quantifions le biais induit par le minibatching dans ce cas. Nous montrons également comment étendre la dynamique de Langevin adaptative afin de réduire systématiquement le biais sur la distribution postérieure en considérant une friction dynamique dépendant de la valeur courante du paramètre à échantillonner. La deuxième partie de ce travail étudie l'erreur de minibatching lors de l'échantillonnage de la distribution a posteriori des paramètres d'un réseau de neurones Bayésien. Nous étudions numériquement la matrice de covariance de l'estimateur stochastique de la force, qui s'avère être de rang faible, suggérant qu'elle peut être efficacement approchée. Ceci ouvre la voie au développement d'algorithmes à coût de calcul raisonnable basés sur la dynamique de Langevin adaptative pour réduire le biais. La dernière partie de cette thèse considère l'échantillonnage des chemins de transition reliant un état métastable à un autre, difficiles à échantillonner par des méthodes numériques directes. Nous explorons certaines techniques d'apprentissage automatique pour générer plus efficacement lesdits chemins de transition.