Contributions to effective and secure federated learning with client data heterogeneity

Contributions à un apprentissage fédéré efficace et sécurisé avec des données client hétérogènes Cette thèse se penche sur deux défis de l'apprentissage fédéré: l'hétérogénéité des données et la sécurité des modèles. Dans la première partie, nous nous attaquons à l'hétérogénéité des données, une problématique inhérente aux applications d'apprentissage fédéré dans un cadre réaliste. Les clients peuvent avoir des distributions de données différentes à cause de leurs opinions, localisations ou habitudes. Nous nous concentrons sur deux types distincts d'hétérogénéité dans les tâches de classification. Premièrement, quand les participants ont des distributions de données différentes mais similaires, l'apprentissage collaboratif est une approche attrayante. Notre première méthode s'appuie sur une approche d'adaptation de domaine collaborative, pour apprendre un dictionnaire empirique. Ce dictionnaire exprime les données de chaque client sous la forme d'une combinaison linéaire d'atomes, qui sont des ensembles empiriques représentant les données d'entraînement. Les clients apprennent les atomes en collaboration, tandis que les poids de la combinaison linéaire sont appris individuellement pour assurer la confidentialité. Ce dictionnaire est ensuite utilisé pour déduire les classes d'un client avec une distribution non étiquetée, mais qui a activement participé au processus d'apprentissage. Notre deuxième méthode traite une forme différente d'hétérogénéité, où les clients expriment des concepts différents dans leurs distributions. Dans ce cas, l'apprentissage collaboratif n'est pas toujours optimal, mais nous supposons qu'il existe une similarité structurelle entre les clients, qui nous permet de les regrouper pour un apprentissage plus efficace. Nous nous intéressons particulièrement à la "scalabilité" de cette méthode, en supposant un nombre élevé de participants. Notre approche est conçue pour estimer la structure cachée entre les clients à chaque agrégation des mises à jour des clients, de manière incrémentale. Contrairement à d'autres approches, nous n'imposons pas que tous les clients soient disponibles simultanément pour estimer leurs clusters d'appartenance. Dans la partie suivante de cette thèse, nous examinons les défis de sécurité de l'apprentissage fédéré, spécifiquement sur la vulnérabilité aux attaques par porte dérobée pendant l'apprentissage. Un système fédéré étant partagé, il est difficile d'assurer que tous les clients sont honnêtes et envoient des mises à jour correctes. L'apprentissage fédéré est vulnérable aux utilisateurs malveillants qui corrompent leurs données. Nos défenses sont conçues pour les attaques par porte dérobée, activées par des déclencheurs. Elles reposent sur la reconstruction de ces déclencheurs, sans fournir au serveur des données ou informations supplémentaires provenant des clients, à l'exception des poids compromis. En supposant certaines hypothèses limitées, le serveur peut estimer le déclencheur de l'attaque à partir du modèle global compromis. Notre troisième méthode utilise le déclencheur estimé pour identifier les neurones d'un réseau encodant l'attaque. Nous proposons d'élaguer ce réseau pour entraver les effets de l'attaque. Cette approche défend efficacement un modèle corrompu, même en présence de données hétérogènes. Enfin, notre dernière méthode déplace la défense vers les utilisateurs, en leur fournissant le déclencheur reconstruit pour contrer les attaques pendant la phase d'inférence. Cette défense se révèle particulièrement efficace même dans les cas extrêmes d'hétérogénéité. En conclusion, cette thèse introduit des méthodes novatrices pour améliorer l'efficacité et la sécurité des systèmes d'apprentissage fédérés. Nous avons exploré divers scénarios d'hétérogénéité des données, en proposant des approches d'apprentissage collaboratif et des défenses. Nous perspectives de recherche envisagent d'améliorer notre reconstruction des déclencheurs et en prenant en compte d'autres défis, tels que la confidentialité, qui est une aspect important en apprentissage fédéré.