Differentiable and learning-based methods for structure representation

Méthodes différentiables et basées sur l'apprentissage pour la représentation de structure Cette thèse s'intéresse à la conception de méthodes d'apprentissage pour des objets structurés, omniprésents dans les données naturelles. La structure émerge dans des systèmes formés de composants en interaction, lorsque l'information réside dans des espaces de faible complexité, ou encore comme propriété intrinsèque d'objets mathématiques tels que les matrices définies positives. La question directrice de cette thèse est la suivante : étant donné des données générées par un système pour lesquelles on suppose l'existence d'une structure sous-jacente, comment concevoir des modèles d'apprentissage capables de capturer cette structure ? Dans ce travail, nous nous concentrons sur une classe particulière d'objets structurés : les matrices symétriques définies-positives (SDP) creuses, et qui apparaissent naturellement dans de nombreux domaines scientifiques et d'ingénierie. Nous considérons trois paradigmes méthodologiques pour apprendre de tels objets structurés. Les approches data-driven, qui exploitent la disponibilité de grands jeux de données et l'expressivité des réseaux de neurones profonds, en s'appuyant sur leur capacité à exploiter la structure implicitement contenue dans les données plutôt que sur des hypothèses de modélisation explicites. Les approches model-based, qui tirent parti de l'incorporation de connaissances a priori et d'expertise métier pour guider l'apprentissage, permettant une inférence robuste même en présence de données limitées. Enfin, les approches unrolled, qui cherchent à combiner ces deux avantages, en construisant des architectures neuronales inspirées d'algorithmes d'optimisation itératifs, tout en conservant expressivité et adaptabilité.Chacun de ces paradigmes présente des avantages et des limites distincts. Cette thèse apporte trois contributions principales dans ces directions :(i) Dans le cadre data-driven, nous proposons SpodNet, la première architecture de réseau de neurones capable d'apprendre des matrices garanties à la fois creuses et définies-positives, une capacité qui n'existait pas jusqu'alors. SpodNet est conçu comme une application SPD-vers-SPD qui impose la parcimonie par construction, en s'appuyant sur la condition de Schur pour garantir le caractère défini-positif tout au long des mises à jour. Nous proposons également trois variantes inspirées des approches unrolled et adaptées au problème d'estimation de matrices de précision creuses, pour lesquelles nous montrons des performances compétitives et de meilleures garanties que les méthodes existantes. Nous concluons par une analyse des principaux défis ouverts qui subsistent.(ii) Dans le cadre model-based, nous développons une nouvelle méthode de sélection automatique d'hyperparamètres pour contrôler le degré de parcimonie dans l'estimation de matrices SPD creuses. En formulant le problème comme une optimisation bi-niveau, nous proposons une approche par différentiation implicite pour calculer les hypergradients pour le Graphical Lasso. Cela fournit des formules explicites de la Jacobienne pour des pénalités scalaires comme matricielles, permettant une sélection rigoureuse des paramètres de régularisation.(iii) Nous revisitons le problème du Graphical Lasso, utilisé par de nombreuses commmunautés différentes, et abordons le gap entre les avancées méthodologiques et leur adoption pratique. Nous publions un solveur open-source modulaire et efficace, intégré dans la bibliothèque skglm, supportant les pénalités pondérées et non-convexes. En parallèle, nous proposons un benchmark reproductible implémenté dans l'écosystème benchopt, couvrant les principaux solveurs du premier et du second ordre. Nos expériences montrent que les pénalités non-convexes améliorent systématiquement les performances de reconstruction et de récupération de support par rapport à l'approche classique à base de norme L1, et que notre implémentation offre à la fois des performances compétitives et une flexibilité supérieure aux outils existants.