Online Distributed Learning : A Projection-Free Approach

Apprentissage distribué en ligne : une approche sans projection L'apprentissage distribué a fait l'objet de recherches intensives ces dernières années en raison de sa praticité pour une large gamme d'applications où le transfert de données entraîne des coûts élevés en termes de confidentialité et de bande passante de communication. Dans ce contexte, il est crucial de concevoir des algorithmes qui conviennent aux périphériques de bord avec des capacités de calcul et de communication limitées, tout en atteignant des performances optimales dans un environnement distribué. Cependant, c'est une tâche difficile car les performances de l'algorithme dépendent de plusieurs facteurs tels que le réseau de communication, les capacités de calcul et la nature des données sur chaque périphérique. La majorité des recherches en apprentissage distribué ont porté sur le paramètre hors ligne, où les données sont stockées localement et la fonction objective reste statique tout au long du processus d'apprentissage. Cependant, ce paramètre hors ligne devient irréaliste pour de nombreuses applications d'apprentissage automatique car les données sont générées de manière continues.Dans cette thèse, nous étudions le problème de l'apprentissage en ligne distribué, où plusieurs agents apprennent à partir de flux de données générés sur des périphériques locaux pour atteindre un consensus sur une fonction objective globale. Nous proposons des algorithmes sans projection qui sont bien adaptés à un environnement distribué. Ces algorithmes sont conçus avec soin pour atteindre des bornes de regret optimales pour divers scénarios d'apprentissage en ligne et distribué, y compris le délai de feedback, le bandit feedback pour les fonctions convexes et non convexes.Nous menons une étude théorique approfondie et validons expérimentalement les performances de nos algorithmes en les comparant à des algorithmes existants sur des problèmes du monde réel. De plus, nous fournissons une étude empirique sur la consommation d'énergie de l'apprentissage fédéré sur des périphériques de bord, en tenant compte de l'hétérogénéité des données et du compromis entre calcul et communication lors de la variation du nombre de périphériques et de la partition des données.