Trustworthy collaborative learning : Personalization, privacy, and robustness at the edge

Apprentissage collaboratif de confiance : Personnalisation, confidentialité et cobustesse en environnements décentralisés Il y a une vingtaine d'années, l'émergence du Web 2.0 a profondément transformé notre rapport au numérique en permettant aux utilisateurs de créer et partager du contenu sur une multitude de plateformes, générant ainsi un volume croissant de données. Combinée aux récents progrès en apprentissage automatique, cette abondance de données a permis l'apparition de nombreux services basés sur l'apprentissage (e.g., agents conversationnels, assistants vocaux, détection de fraude). Traditionnellement, l'entraînement des modèles sous-jacents à ces services reposait sur la collecte de données sensibles par des entités centralisées, souvent les fournisseurs de service eux-mêmes. Cette centralisation a soulevé de sérieuses préoccupations en matière de confidentialité, comme en témoignent les multiples scandales liés à la vie privée au cours de la dernière décennie. En réponse, plusieurs réglementations, telles que le Règlement Général sur la Protection des Données (RGPD), ont été mises en place. Dans ce contexte, repenser les paradigmes d'apprentissage classiques pour les rendre plus respectueux de la vie privée est devenu essentiel. L'apprentissage fédéré a vu le jour en 2017 avec la promesse de préserver la confidentialité des données en permettant à des utilisateurs d'entraîner collaborativement un modèle sans jamais partager leurs données brutes. Ce paradigme a donné naissance à une classe plus large d'approches appelée apprentissage collaboratif. Il est désormais bien établi que l'apprentissage fédéré souffre de plusieurs limitations, notamment sa dépendance à un serveur central (point de défaillance unique) et sa vulnérabilité à diverses attaques en confidentialité et robustesse. C'est dans cette optique que l'apprentissage par commérage a été proposé, avec la promesse d'une décentralisation totale, s'appuyant sur des protocoles de communication pair-à-pair, dits protocoles de bavardage. Dans ce paradigme, chaque nœud agit comme un mini-serveur fédéré, coordonnant l'apprentissage avec ses voisins via un graphe de communication dynamique. Toutefois, il reste à démontrer si cette approche permet réellement de dépasser les limites de l'apprentissage fédéré, notamment en matière de personnalisation, de protection de la vie privée et de robustesse face aux comportements malveillants. Cette thèse s'attache à explorer ces questions. Dans un premier temps, nous comparons les performances individuelles des modèles produits par ces deux paradigmes, avant de proposer PEPPER, une structure logicielle permettant d'exploiter pleinement le potentiel de l'apprentissage par commérage à des fins de personnalisation, et de surpasser l'approche fédérée sur cet aspect. Dans un second temps, nous introduisons CIA, une attaque d'inférence de communautés utilisée pour auditer les vulnérabilités de confidentialité des deux paradigmes. Cette étude révèle une certaine résilience intrinsèque de l'apprentissage par commérage face à ce type d'attaques d'inférence comparative. Enfin, nous nous penchons sur la robustesse de ce paradigme face aux attaques par empoisonnement de modèles. Bien que sa nature dynamique puisse l'exposer davantage à ce type de menaces, nous proposons GRANITE, un cadre logiciel robuste pour l'apprentissage par commérage sur des graphes dynamiques. Dans l'ensemble, ce travail met en évidence le potentiel de l'apprentissage par commérage à s'imposer comme une alternative crédible à long terme pour des systèmes d'apprentissage décentralisés, transparents et centrés sur l'utilisateur.