On identifiability of deep ReLU neural networks

L'identifiabilité des réseaux de neurones profonds ReLU Cette thèse étudie la question de l'identifiabilité des réseaux de neurones profonds ReLU. Les réseaux de neurones admettent des paramètres sous forme de poids et de biais, et avec un choix de paramètres donné, un réseau implémente une fonction. La question générale de l'identifiabilité est la suivante : si les fonctions implémentées par deux réseaux sont égales, ou si elles coïncident sur un ensemble donné, ont-elles les mêmes paramètres ? Dans cette thèse, nous proposons trois contributions qui tournent autour de ce sujet.Première contribution : La possibilité de récupérer les paramètres -- poids et biais -- d'un réseau de neurones grâce à la connaissance de sa fonction sur un sous-ensemble de l'espace d'entrée peut être, selon la situation, une malédiction ou une bénédiction. D'un côté, récupérer les paramètres facilite les attaques adversariales et pourrait également révéler des informations sensibles du jeu de données utilisé pour entraîner le réseau. D'un autre côté, si les paramètres d'un réseau peuvent être récupérés, cela garantit à l'utilisateur que les caractéristiques dans les espaces latents peuvent être interprétées. Cela fournit également les bases pour obtenir des garanties formelles sur les performances du réseau. Il est donc important de caractériser les réseaux dont les paramètres peuvent être identifiés et ceux dont les paramètres ne le peuvent pas. Dans ce travail, nous fournissons un ensemble de conditions sur un réseau de neurones profond feedforward fully-connected ReLU, garantissant que les paramètres du réseau sont identifiables de manière unique -- modulo permutation et rescalings positifs-- à partir de la fonction que le réseau implémente sur un sous-ensemble de l'espace d'entrée.Deuxième contribution : Un échantillon est-il suffisamment riche pour déterminer, au moins localement, les paramètres d'un réseau de neurones ? Pour répondre à cette question, nous introduisons une nouvelle paramétrisation locale d'un réseau de neurones ReLU profond donné en fixant les valeurs de certains de ses poids. Cela nous permet de définir des opérateurs de lifting locaux dont les inverses sont des cartes d'une variété lisse d'un espace de grande dimension. La fonction implémentée par le réseau de neurones ReLU profond compose le lifting local avec un opérateur linéaire qui dépend de l'échantillon. Nous dérivons de cette représentation pratique une condition géométrique nécessaire et suffisante d'identifiabilité locale. En examinant les espaces tangents, la condition géométrique fournit : 1/ une condition nécessaire sharp et testable d'identifiabilité et 2/ une condition suffisante sharp et testable d'identifiabilité locale. La validité des conditions peut être testée numériquement à l'aide de la rétropropagation et du calcul du rang des matrices.Troisième contribution : Nous examinons les propriétés et les aspects computationnels des mesures de complexité locale des réseaux de neurones ReLU profonds, récemment introduites dans (Grigsby et al. 2022). Les mesures de complexité considérées sont liées à la géométrie locale d'un ensemble d'images et d'un ensemble de pré-images de la fonction implémentée par le réseau, pour un échantillon donné. La géométrie locale de l'ensemble de pré-images et de l'ensemble d'images est liée par la différentielle des sorties du réseau par rapport aux paramètres, pour un échantillon fini X. En particulier, nous considérons le rang de cette différentielle. L'ensemble de pré-images représente les redondances dans les paramètres d'un réseau. Intuitivement, plus il y a de redondances dans les paramètres, moins l'espace des fonctions représentées par le réseau est riche et complexe. Parmi d'autres propriétés, nous cherchons notamment à comprendre comment ces objets se comportent pendant l'optimisation. Le travail mené dans cette contribution est directement liée à la question de l'identifiabilité, l'ensemble de pré-images représentant les redondances des paramètres du réseau.