Préservation Numérique du Patrimoine Culturel : enrichissement et Reconstruction basés sur les CNNs Multimodaux Hiérarchiques et la Complétion d’Images

Le patrimoine culturel joue un rôle important dans la définition de l'identité d’une société. La préservation physique à long terme du patrimoine culturel reste fragile et peut induire de multiples risques liés à la destruction et aux dommages accidentels. Les technologies numériques telles que la photographie et la numérisation 3D ont fourni de nouvelles alternatives pour la préservation numérique. Cependant, les adapter au contexte du patrimoine culturel est une tâche difficile. En effet, la numérisation complète des objets culturels (visuelle avec une copie digitale et historique avec des métadonnées) n'est facile que lorsqu'il s'agit d’objets physiquement en bon état possédant toutes leurs données (entièrement annotés). Cependant, dans le monde réel, de nombreux objets culturels souffrent de dégradation physique et de perte d'informations. Habituellement, pour annoter et conserver ces objets, les institutions culturelles font appel à des spécialistes de l'art, à des historiens et à d'autres institutions. Ce processus est fastidieux, nécessite beaucoup de temps et de ressources financières et peut souvent s’avérer inexact. Notre travail se concentre sur la préservation effective et rentable du patrimoine culturel, basée sur des méthodes avancées d'apprentissage automatique. L'objectif est de fournir un Framework à la phase d'enrichissement du processus de préservation numérique du patrimoine culturel. A travers cette thèse, nous proposons de nouvelles méthodes permettant d’améliorer le processus de préservation des objets culturels. Nos défis sont principalement liés au processus d'annotation et d'enrichissement des objets dont les données sont manquantes et/ou incomplètes (annotations et données visuelles) ; ce processus est souvent inefficace lorsqu’il est effectué manuellement. Nous introduisons diverses approches basées sur l'apprentissage automatique et l'apprentissage profond pour compléter automatiquement les données culturelles manquantes. Nous nous concentrons principalement sur deux types essentiels de données manquantes : les données textuelles (métadonnées) et les données visuelles.La première étape est principalement liée à l'annotation et à l'étiquetage des objets culturels à l'aide de l'apprentissage profond. Nous avons proposé des approches exploitant des caractéristiques visuelles et textuelles disponibles des objets culturels pour effectuer efficacement leur classification. (i) La première approche est proposée pour la Classification Hiérarchique des objets afin de mieux répondre aux exigences de métadonnées de chaque type d’objets et augmenter les performances de classification. (ii) La seconde approche est dédiée à la Classification Multimodale des objets culturels où un quelconque objet peut être représenté, lors de la classification, avec les métadonnées disponibles en plus de sa capture visuelle. La deuxième étape considère le manque d'informations visuelles lorsqu’il s’agit d’objets culturels incomplets et endommagés. Nous avons proposé dans ce cas, une approche basée sur l'apprentissage profond à travers des modèles génératifs et le clustering d’images pour effectuer la reconstruction visuelle d’objets culturels. Pour nos expérimentations, nous avons collecté une grande base de données culturelles mais nous avons sélectionné les tableaux d’arts pour nos tests et validations car ils possèdent une meilleure qualité d’annotation et sont donc mieux adapté pour mesurer les performances de nos algorithmes.