Multiobjective optimization and feature selection in deep learning

Optimisation multiobjectif et sélection de variables pour l'apprentissage profond Les avancées technologiques ont considérablement impacté l'analyse des données, en particulier avec l'essor du Big Data. L'apprentissage profond a émergé comme une solution puissante pour gérer la complexité et le volume des données. Les modèles profonds utilisent plusieurs niveaux d'abstraction pour extraire des motifs complexes. Leur efficacité a été démontrée dans diverses tâches, notamment la reconnaissance d'images.Cependant en génomique, les nouvelles techniques de séquençage produisent des quantités massives de données, où le nombre de variables dépasse largement le nombred'échantillons, donnant lieu à ce qui est couramment appelé "des données de grande dimension et faible taille d'échantillon" (HDLSS). Les méthodes classiques d'apprentissage automatique peinent à gérer ce problème, avec un risque de surapprentissage pouvant conduire à une mauvaise généralisation. L'apprentissage profond atténue ce risque en détectant des variables abstraites à plusieurs niveaux. La sélection de variables est la solution la plus répandue dans la littérature pour faire face à ce problème. Dans la majorité des approches proposées, elle est utilisée comme étape de prétraitement plutôt que directement dans l'étape d'entraînement du modèle. Les méthodes existantes qui intègrent la sélection de variables dans l'étape d'entraînement utilisent une fonction mono-objectif, ce qui peut ne pas fournir des solutions optimales en raison de la nature conflictuelle de la sélection de variables et de la tâche de classification.L'optimisation multiobjectif dans les modèles profonds permet de prendre en compte simultanément deux objectifs : maximiser les performances du modèle et minimiser le nombre de variables. On recherche ainsi le front de Pareto constitués des solutions où aucun objectif ne peut être amélioré sans détériorer l'autre. L'utilisateur peut par la suite choisir parmi ces solutions en fonction de ses besoins. La combinaison de l'optimisation multi-objectifs et de l'apprentissage profond aboutit à des modèles plus efficaces et interprétables. En médecine de précision, par exemple, cette approche aide à développer des modèles qui prédisent la maladie des patients sur la base des données omiques comme les données de mutations. En utilisant l'optimisation multi-objectifs, les modèles peuvent identifier un sous-ensemble de mutations suffisant pour prédire la maladie sans surapprentissage.Le travail présenté dans cette thèse exploite des algorithmes de descente de gradient multi-objectifs pour la sélection de variables sans compromettre la puissance prédictive. L'algorithme proposé, appelé BFS, utilise une descente de gradient bi-objectifs pour générer des solutions diversifiées, utilisant deux fonctions objectif : l'entropie croisée comme mesure de performance et le sparse group lasso comme mesure de sélection de variable. Un autre algorithme, nommé AtBFS, étend BFS en intégrant une couche d'attention pour améliorer la sélection de variables. BFS a été validé sur des ensembles de données artificielles et réelles, tandis que AtBFS a été evalué sur des données de mutations somatiques. Les deux méthodes ont montré des résultats prometteurs par rapport aux approches de l'état de l'art.En résumé, l'intégration de l'optimisation multiobjectif dans l'apprentissage profond pour la sélection de variables permet de traiter la complexité des données HDLSS, offrant un équilibre entre performance et réduction des variables. Cette approche est utile dans des domaines comme la médecine de précision, améliorant ainsi les performances et l'interprétabilité des modèles.