Neural 3D reconstruction and generation with learned 2D visual priors

Reconstruction et génération 3D par apprentissage profond à partir de priors visuels 2D La reconstruction et la génération de scènes 3D à partir d'observations 2D ou de descriptions textuelles constituent un problème central en vision par ordinateur, avec des applications allant de la robotique et de la conduite autonome à la réalité virtuelle et à la création de contenus 3D. Cependant, malgré des avancées rapides, la vision 3D reste limitée par des coûts de calcul élevés, l'hétérogénéité des représentations 3D, ainsi que la rareté de données de haute qualité, ce qui a jusqu'à présent freiné l'émergence de modèles fondamentaux 3D. À l'inverse, la vision par ordinateur en 2D a atteint un niveau de maturité remarquable, avec des modèles fondamentaux entraînés sur des corpus d'images massifs, capables d'apprendre des priors riches et transférables sur l'apparence visuelle, la géométrie et la structure des scènes. Cet écart entre vision 2D et 3D soulève une question centrale : comment exploiter de manière systématique ces priors et ces modèles fondamentaux 2D afin d'améliorer la reconstruction et la génération 3D ? Cette thèse aborde cette question avec pour objectif d'améliorer l'efficacité, la scalabilité et la qualité visuelle des méthodes de reconstruction et de génération 3D. Pour structurer cette étude, nous identifions trois formes complémentaires de compatibilité entre les paradigmes 2D et 3D. La compatibilité dans l'espace latent étudie dans quelle mesure des autoencodeurs d'images peuvent être réutilisés pour des représentations 3D, afin d'en améliorer l'efficacité computationnelle. La compatibilité des représentations examine dans quelle mesure les représentations 3D peuvent être conçues pour être structurellement alignées avec les images. Enfin, la compatibilité d'apprentissage analyse comment des modèles 2D préentraînés peuvent être exploités pour guider l'optimisation de modèles 3D, à la fois en reconstruction et en génération. Dans ce cadre, cette thèse propose plusieurs méthodes, chacune exploitant au moins un de ces mécanismes de compatibilité et s'attaquant à des défis majeurs de la vision 3D. Premièrement, nous nous intéressons à l'efficacité de l'entraînement. IG-AE entraîne un autoencodeur d'images afin d'obtenir un espace latent compatible avec les représentations neuronales 3D. Cela permet aux champs de radiance neuronaux (NeRFs) de bénéficier d'un entraînement et d'un rendu significativement accélérés. Deuxièmement, nous abordons la question de la scalabilité. Fused-Planes représente une large collection d'objets en décomposant chaque instance dans une base de représentations tri-planaires conjointement apprise, réduisant significativement la mémoire utilisée. Troisièmement, nous ciblons l'amélioration de la qualité visuelle. RefinedFields exploite la compatibilité structurelle entre les représentations 3D planaires et les images afin de tirer parti des connaissances issues de modèles génératifs 2D préentraînés, améliorant ainsi la qualité de rendu. Enfin, nous considérons la génération de scènes 3D. SphericalDreamer utilise directement des modèles de diffusion 2D pour générer et fusionner plusieurs images panoramiques en un seul monde 3D cohérent, produisant des environnements immersifs et navigables à partir de descriptions textuelles. Dans l'ensemble, cette thèse propose un cadre pour l'adaptation des modèles 2D à la vision 3D. Elle montre que l'alignement des espaces latents, des représentations et des mécanismes d'apprentissage constitue une direction prometteuse pour améliorer l'efficacité, la scalabilité et la qualité des méthodes de reconstruction et de génération 3D.