Supervised learning with missing data : a non-asymptotic point of view

Données manquantes en apprentissage supervisé Les valeurs manquantes sont courantes dans la plupart des ensembles de données du monde réel, en raison de la combinaison de sources multiples et d'informations intrinsèquement manquantes, telles que des défaillances de capteurs ou des questions d'enquête sans réponse. La présence de valeurs manquantes empêche souvent l'application d'algorithmes d'apprentissage standard. Cette thèse examinevaleurs manquantes dans un contexte de prédiction, visant à obtenir des prédictions précises malgré l'occurrence de données manquantes dans les données d'apprentissage et de test. L'objectif de cette thèse est d'analyser théoriquement des algorithmes spécifiques pour obtenir des garanties d'échantillons finis. Nous dérivons des bornes inférieures minimax sur le risque des prédictions linéaires en présence de valeurs manquantes. Ces bornes inférieures dépendent de la distribution du motif de valeurs manquantes et peuvent croître de manière exponentielle avec la dimension. Nous proposons une méthode très simple consistant à appliquer la procédure des moindres carrés uniquement aux motifs de valeurs manquantes les plus fréquents. Une telle méthode simple se révèle être une procédure presque minimax-optimale, qui s'écarte de l'algorithme des moindres carrés appliqué à tous les motifs de valeurs manquantes. Par la suite, nous explorons la méthode de l'imputation puis régression, où l'imputation est effectuée en utilisant l'imputation naïve par zéro, et l'étape de régression est réalisée via des modèles linéaires, dont les paramètres sont appris via la descente de gradient stochastique. Nous démontrons que cette méthode très simple offre de fortes garanties pour des échantillons finis dans des contextes de grande dimension. Plus précisément, nous montrons que le biais de cette méthode est inférieur au biais de la régression ridge. Étant donné que la régression ridge est souvent utilisée en haute dimension, cela prouve que le biais des données manquantes (via l'imputation par zéro) est négligeable dans certains contextes de grande dimension. Enfin, nous étudions différents algorithmes pour gérer la classification linéaire en présence de données manquantes (régression logistique, perceptron, LDA). Nous prouvons que la LDA est le seul modèle qui peut être valide pour des données complètes et manquantes dans certains contextes génériques.