Etalonnage de caméra plénoptique et estimation de profondeur à partir des données brutes

Alors qu’une caméra standard enregistre deux dimensions d’un champ lumineux, une caméra plénoptique est conçue pour capturer localement quatre de ses dimensions. La richesse des données issues de ce capteur ouvre alors la porte à de nombreuses applications : il est possible, par post-traitement, de synthétiser des images prises de différents points de vue virtuels, de faire une mise au point dans différents plans de la scène, ou encore de calculer des cartes de profondeur d’une scène à partir d’une seule acquisition et ainsi obtenir des reconstructions 3D de l’environnement. La capture passive d’une information de profondeur via un système optique compact rend également ce capteur attractif pour des applications en robotique. Cependant, l’estimation de profondeur à partir d’un tel capteur nécessite son étalonnage précis. Cette caméra est composée d’un nombre conséquent d’éléments, dont une matrice de micro-lentilles placée devant le capteur, et les données brutes sont complexes. Ainsi la plupart des travaux de l’état de l’art consistent à étalonner des modèles de projection simplifiés en exploitant des données interprétées, telles que des images synthétisées et les cartes de profondeur associées. Au cours de nos premiers travaux réalisés en collaboration avec le laboratoire TUM, nous alors avons proposé une méthode d’étalonnage à partir d’une mire 3D en exploitant des données interprétées. Nous avons par la suite proposé une nouvelle approche d’étalonnage basée sur les données brutes du capteur. Nous avons formalisé un modèle proche des caractéristiques physiques de la caméra et proposé une minimisation exprimée directement dans l’espace des données du capteur. Enfin, nous avons proposé une nouvelle méthode d’estimation de profondeur à échelle métrique utilisant le modèle de projection de la caméra. Cette approche directe utilise une minimisation de l’erreur entre le contenu de chaque micro-image et la reprojection de la texture des micro-images qui l’entourent. Les performances de nos algorithmes ont été évaluées à la fois sur un simulateur développé dans le cadre de cette thèse et sur des scènes réelles. Nous avons montré que l’étalonnage est robuste aux mauvaises initialisations du modèle et la précision des estimations de profondeur concurrence celle de l’état de l’art.