Deep convolutional networks for inverse problems in image and video restoration

Réseaux de neurones convolutifs profonds pour problèmes inverses en restauration d'images et de vidéos La restauration d'images et de vidéos regroupe de nombreuses tâches---comme le débruitage, la déconvolution et la super-résolution, pour ne citer que quelques exemples---qui permettent des applications de grand intérêt dans divers domaines de la recherche et de l'industrie (par exemple, les industries de la santé, l'armée, la création, les jeux et la recherche en astrophysique). Tous les problèmes de restauration sont modélisés dans le cadre mathématique des problèmes inverses, dans lequel les modèles directs spécifient les dégradations reliant les données corrompues observées aux données originales. Ces problèmes sont classiquement résolus sur la base de régularisations choisies à la main pour atténuer leur caractère mal posé et d'algorithmes itératifs qui minimisent les sommes de termes d'attache aux données et de régulariation. L'apprentissage profond et les réseaux neuronaux convolutifs (CNNs) ont récemment augmenté de manière significative les performances de restauration d'images et de vidéos. Ces réseaux peuvent notamment apprendre l' textit{a priori} sur l'image ou la vidéo à reconstruire à partir de données, textit{i.e.}, de paires de données dégradées et originales. Le modèle direct est utilisé afin de générer ces paires dans ce cadre d'apprentissage profond. Même si la régularisation apprise permet généralement d'obtenir de meilleures performances qu'une régularisation manuelle et que les CNNs sont plus rapides que les algorithmes itératifs (donc plus adaptés aux applications pratiques), les CNNs sont utilisés comme des boîtes noires et manquent d'interprétabilité. De plus, ils manquent également de flexibilité dans l'utilisation de la connaissance du modèle direct, contrairement à la résolution classique de problèmes inverses. Dans certaines situations où le modèle direct est simple et bien caractérisé, les méthodes classiques peuvent encore être plus performantes que les méthodes basées sur l'apprentissage profond. Certaines approches plus récentes sont textit{hybrides}, combinant les avantages des deux méthodes de manière complémentaire. Certaines d'elles permettent de concevoir, par exemple, un CNN unique et interprétable qui peut gérer de manière flexible les connaissances à priori des dégradations.Ce travail étudie les architectures de réseaux de neurones pour résoudre les problèmes de restauration d'images et de vidéos. Premièrement, nous expliquons les principes des méthodes de restauration d'images et de vidéos classiques, puis basées sur l'apprentissage profond, puis hybrides. Ensuite, nous nous concentrons sur le problème inverse de la super-résolution vidéo~: nous passons en revue sa résolution traditionnelle et sa résolution dans l'état de l'art basée sur l'apprentissage profond. Comme première contribution, nous proposons un réseau de super-résolution vidéo hybride qui combine les avantages de la résolution classique avec la puissance de représentation des CNNs. Comme deuxième contribution, nous proposons un réseau de super-résolution vidéo récurrent adapté à la super résolution de longues vidéos dans lesquelles certaines parties de la scène bougent à peine (ce type de vidéo peut être rencontré dans des applications telles que la vidéosurveillance) et introduisons une nouvelle base de données de test de telles vidéos. En effet, nous montrons que les réseaux de super-résolution vidéo récurrents existants présentent des instabilités sur ces vidéos. Enfin, nous nous concentrons sur la déconvolution de séries temporelles d'images en radio-interférométrie, afin de permettre une meilleure détection des sources astronomiques transitoires. Ces sources, qui apparaissent et disparaissent au fil du temps, sont très intéressantes pour les astrophysiciens car elles sont associées à des phénomènes physiques de haute énergie. Comme troisième contribution, nous proposons deux architectures de réseaux de neurones qui peuvent faire de la modélisation spatiale et temporelle pour résoudre ce problème de déconvolution.