Modelling functions with kernels : from logistic regression to global optimisation

De la régression logistique à l'optimisation globale : modéliser des fonctions avec des noyaux Cette thèse se situe à l’interaction entre les domaines de l’apprentissage statistique, de l’optimisation, et de la modélisation. Nous étudions différents modèles de fonctions, fondés sur les espaces de Hilbert à noyau reproduisant. Nous commençons par étudier les propriétés statistiques et algorithmiques de l’estimateur de minimisation du risque empirique régularisé, dans le cadre de la minimisation du risque (en espérance) sur des espaces à noyau reproduisant. Nous généralisons la décomposition biais-variance très précise bien connue dans le cadre de la régression linéaire à une plus grande classe de fonctions en controlant précisément l’évolution locale de leurs Hessiennes. Cette classe de fonctions appelées fonctions autoconcordante généralisées contient la perte logistique, qui est très utilisée en classification. Nous étendons également les taux de convergence rapides ainsi que les algorithmes rapides établis dans le cadre de la régression linéaire à cette classe de fonctions, caractérisant au passage la difficulté du problème statistique sous-jacent à l’aide de deux quantités caractérisant la régularité de la solution, ainsi que celle de l’espace à noyau reproduisant utilisé. Dans un deuxième temps, nous introduisons un modèle pour les fonctions positives, qui est linéairement paramétré par un opérateur symétrique sur un espace à noyau reproduisant, et o`u la contrainte de positivité est garantie au moyen d’une contrainte de positivité semidéfinie sur cet opérateur. Nous étudions les propriétés de ce modèle, et montrons qu’il a de bonnes propriétés d’approximation, qu’il préserve la convexité des fonctions de perte standard en apprentissage statistique, et qu’il est intégrable et différentiable en forme close lorsqu’il est défini avec des noyaux particuliers. En outre, cette dernière propriété nous permet d’utiliser ce modèle pour estimer des densités de probabilité, et nous développons un algorithme d’échantillonnage d’une densité de probabilité quelconque, accessible à partir de ses valeurs en certains points. Enfin, nous appliquons ce modèle de fonctions positives afin d’approcher le minimum global d’une fonction régulière. Dans le même esprit que les hiérarchies de Lasserre pour l’optimisation polynomiale, nous cherchons le minimum global d’une fonction comme sa plus grande borne inférieure, et affinons les garanties d’approximation du paragraphe précédent afin d’obtenir un algorithme quasi-optimal pour trouver le minimum global d’une fonction à partir de ses valeurs en un nombre donné de points. Nous établissons également des résultats théoriques permettant de généraliser cette approche à des fonctions définies sur des variétés.