3D geometry-based neural camera pose estimation

Estimation neuronale de pose de caméra basée sur la géométrie 3D L'estimation de pose absolue de caméra basée sur la vision, également connue sous le nom de localisation visuelle, est l'épine dorsale de nombreuses applications de vision par ordinateur, telles que la réalité augmentée ou virtuelle, la robotique ou la conduite autonome. Lorsque l'on travaille avec des images naturelles capturées dans des conditions changeantes, on encontre fréquemment des perturbations visuelles. Ces perturbations font de la localisation visuelle un problème très difficile - et jusqu'à présent non résolu. L'objectif de cette thèse est de développer des modèles pouvant améliorer la performance des algorithmes d'estimation de pose absolue de caméra. La première partie de cette thèse se concentre sur la mise en correspondance de points d'intérêt 2D avec un modèle 3D, qui est un élément communément utilisé dans les approches de localisation visuelle basées sur la géométrie 3D. Nous présentons un nouveau paradigme d'appariement de points d'intérêt qui modélise explicitement les incertitudes de mise en correspondance de manière dense dans les images. Nos expériences montrent que cette approche permet d'améliorer l'état de l'art en estimation de pose absolue de caméra. Puis, nous introduisons une nouvelle erreur de reprojection pour fusionner l'apprentissage des caractéristiques d'une image et l'estimation de la pose absolue de la caméra, appelée "Neural Reprojection Error". Notre formulation réutilise les incertitudes d'appariement dense introduites précédemment pour améliorer la précision de l'estimation de la pose, en comparaison aux approches standard. Cette formulation a l'avantage d'être basée sur les données d'apprentissage uniquement, et nous permet d'éviter une optimisation fastidieuse des hyperparamètres. La dernière contribution de cette thèse consiste à étudier le problème de l'hallucination de correspondance visuelle. Nous entraînons un réseau de neurone profond pour prédire des distributions de correspondance dans des zones d'image non co-visibles (i.e. qui sont soit occultées, soit en dehors des limites de l'image). Nos expériences démontrent que notre modèle est non seulement capable de faire de telles prédictions, mais que lorsqu'il est couplé à la "Neural Reprojection Error", il surpasse de manière significative les méthodes existantes d'estimation de pose absolue de caméra sur des paires d'images à très faible recouvrement.