Implicit regularization in deep learning : a tensor perspective

Régularisation implicite en apprentissage profond par approches tensorielles L’apprentissage profond a connu un succès remarquable au cours des dernières années dans diverses tâches de prédiction. Cependant, de nombreux résultats empiriques restent inexpliqués d’un point de vue théorique. Des pistes de recherche ont été proposées récemment pour expliquer les bonnes performances en généralisation des réseaux de neurones profonds. Parmi ces pistes, la régularisation implicite a récemment reçu un intérêt considérable : la capacité d’un réseau de neurones profond à bien généraliser sur des nouvelles données résulte d’une régularisation implicite induite par des algorithmes basés sur le gradient qui minimisent une certaine mesure de complexité en fonction des paramètres du problème. Trouver cette mesure est un véritable défi. Cette thèse suit cette ligne de recherche et est consacrée à la compréhension de la généralisation des modèles sur-paramétrés en utilisant les décompositions tensorielles. La première contribution de la thèse consiste à caractériser la régularisation implicite dans l’apprentissage profond dans le contexte de la factorisation tensorielle CP (Candecomp/Parafac) sur-paramétrés. Nous introduisons une nouvelle notion de profondeur dans le modèle tensoriel CP et étudions son effet sur l’amélioration de la convergence de la descente de gradient vers des solutions de faible rang. Alors que la régularisation implicite dans le cas de factorisation matricielle via des réseaux neuronaux linéaires favorise des solutions de faible rang avec une croissance au plus quadratique avec la profondeur du réseau, nous proposons une analyse de la dynamique de l’apprentissage montrant que l’effet de la régularisation implicite dans la factorisation profonde des tenseurs croît de manière polynomiale avec la profondeur. Ceci fournit une description fidèle du comportement expérimental observé.La deuxième contribution de cette thèse est l’analyse théorique de la régularisation implicite dans les réseaux de neurones utilisant la factorisation tensorielle de Tucker. Nous montrons que la factorisation Tucker profonde entraînée par descente de gradient induit une régularisation parcimonieuse structurée qui est accentuée par la profondeur. Ceci fournit une explication potentielle pour le biais de la descente de gradient vers dessolutions avec un rang multilinéaire faible. Nous confirmons nos résultats théoriques par des expériences numériques et donnons un nouvel aperçu du comportement de la descente de gradient dans la factorisation tensorielle profonde. Nous explorons également de nouvelles perspectives, basées sur les décompositions tensorielles, pour la mise au point de stratégies de "Fine Tuning" efficaces pour les grands modèles de langage. Nous discutons des modèles tensorisés de la méthode d’adaptation de faible rang "LoRA" et nous fournissons de nouvelles idées qui pourraient être utiles pour étudier théoriquement l’efficacité des techniques basées sur LoRA