Design of optimization algorithms for large scale continuous problems : application on deep learning

Conception d'algorithmes d'optimisation pour problèmes en grandes dimensions : application au Deep Learning Cette dernière décennie, la complexité des problèmes s'est accrue avec l'augmentation de la puissance des processeurs et la diminution des coûts de mémoire. L'apparition d'infrastructures textit{cloud} offre la possibilité de résoudre des problèmes en grandes dimensions. Cependant, la plupart des algorithmes d'optimisation exacts et stochastiques voient leurs performances diminuer avec l'augmentation de la dimension des problèmes. Les approches évolutionnaires et autres approches bio-inspirées ont été largement utilisées pour résoudre des problèmes à grande échelle sans grand succès. En effet, la complexité de ces problèmes aux fonctions non convexes vient du fait que les minima (et maxima) locaux sont rares. Dans cette thèse, nous proposons d'aborder des problèmes à grande échelle en concevant une nouvelle approche basée sur la décomposition fractale de l'espace de recherche par hypersphères. Cette décomposition géométrique permet à l'algorithme d'être intrinsèquement parallélisable. L'algorithme proposé est appelé textit{Fracal Decomposition Algorithm} (FDA). Il est déterministe, de faible complexité et facile à implémenter. FDA a été testé sur plusieurs fonctions, comparé aux métaheuristiques concurrentes et a montré de bons résultats sur des problèmes de dimensions allant de 50 à 1000. Sa structure lui permet d'être naturellement parallélisée, ce qui a permis de développer deux nouvelles versions : PFDA pour les environnements multi-threaded et MA-FDA pour les environnements multi-nœuds. Ensuite, l'algorithme proposé a été adapté pour résoudre des problèmes multi-objectifs. Deux algorithmes ont été proposés : le premier est basé sur la scalarisation et a été distribué sur une architecture multi-nœuds grâce à des conteneurs. La seconde approche est basée sur le tri de solutions non dominées. De plus, nous avons appliqué FDA à l'optimisation des hyperparamètres des architectures d'apprentissage profond en mettant l'accent sur les réseaux neuronaux convolutionnels. Nous présentons une approche utilisant l'optimisation à deux niveaux séparant la recherche d'architecture composée de paramètres discrets de l'optimisation des hyperparamètres avec les paramètres continus. Ceci est motivé par le fait que l'automatisation de la construction de l'architecture neuronale profonde a été une priorité importante ces dernières années, car le travail manuel prend beaucoup de temps et est sujet aux erreurs.