Deep learning for image restoration for digital photography

Apprentissage profond pour la restauration d'images pour la photographie numérique L'objectif de ces travaux de thèse est d'élaborer des méthodes de restauration mono-image pour la photographie numérique. Plus particulièrement, nous nous concentrons sur les tâches de super-résolution et de défloutage. La restauration d'image est un vaste domaine qui puise son inspiration dans les méthodes de statistique en grande dimension. Parmi elles, la statistique et l'estimation bayésienne sont la base de nombreuses méthodes. Récemment, l'apprentissage automatique et les réseaux de neurones profonds ont bouleversé le domaine. Les réseaux de neurones "boîtes noires" affichent d'impressionnantes performances avec très peu de modélisation par le biais d'entraînement automatique simpliste. L'entraînement de ces réseaux de neurones repose sur d'énormes bases de données d'exemples d'images dégradées et leur équivalent de bonne qualité. La capture de ce type de base de données est complexe, coûteuse voire impossible en pratique. Dans ces travaux, nous tentons de lever certaines limitations des modèles actuels de restauration d'image. En particulier, nous étudions dans un premier temps la construction de données d'entraînement synthétiques réalistes pour la super-résolution par le biais de modèles génératifs qui reproduisent les dégradations qui peuvent intervenir lors de la capture d'image. Cette génération de base de données synthétique permet aux modèles de mieux généraliser sur des données de test réelles. Nos travaux suivants se traitent de la tâche de défloutage. Une hypothèse classique en défloutage est de supposer le flou uniforme à travers l'image ce qui permet de le modéliser avec un opérateur de convolution. Cette approximation est loin d'être vérifiée dans de nombreux cas d'applications tels que le défloutage de flou de bougé ou de defocus. Nous avons donc développé un algorithme Plug & Play pour le défloutage de flou variant spatialement basé sur la méthode d'optimisation linearized ADMM. Cet algorithme a également été utilisé comme inspiration pour la création d'une architecture pour la super-résolution en présence de flou variant spatialement via un unfolding de l'algorithme de Plug & Play. Finalement, nous présentons une famille de modèles génératifs, appelée modèles de diffusion, pour la restauration d'image. Pour une image dégradée donnée, il n'existe généralement pas une unique image de bonne qualité associée mais une multitude. Générer l'espace des images restaurées est très utile car cela permet d'avoir des images restaurées plus nettes, de faire de l'estimation de paramètres ou de la quantification d'incertitude. Dans nos travaux, nous avons montré que les modèles de diffusion peuvent être appliqués à l'estimation de noyaux de flou en déconvolution aveugle. Plus particulièrement, nous avons développé une méthode de déconvolution aveugle basée sur l'algorithme Expectation-Maximization (EM) et les modèles de diffusion.