Novel view synthesis from incomplete multi-view and multi-illumination data

Synthèse de vues nouvelles à partir de données multi-vues et multi-éclairages incomplètes Les progrès récents en matière de graphisme et de vision 3D ont démontré que la combinaison de jeux de données à grande échelle et de modèles d'apprentissage profond de plus en plus puissants joue un rôle central dans l'amélioration de la fidélité, de la qualité et de la contrôlabilité de la génération, de la reconstruction et du rééclairage 3D. Les modèles modernes sont capables d'extraire la structure statistique d'ensembles de données complexes lorsqu'elles sont entraînées avec suffisamment de données, de paramètres et de ressources informatiques. Cependant, si les captures multi-vues et multi-éclairages denses peuvent fournir des informations 3D riches et détaillées en observant des objets et des scènes sous de nombreux angles et dans des conditions d'éclairage variées, leur acquisition reste coûteuse et longue. Cette thèse examine comment exploiter des données multi-vues et multi-éclairages incomplètes pour surmonter ces limites et permettre une modélisation 3D de haute qualité sans recourir à des captures denses. En concevant des méthodes capables de traiter ces données incomplètes, nous montrons qu'il est possible de former des modèles génératifs, de reconstruire des scènes 3D et de procéder à un rééclairage dans des contextes où les captures denses traditionnelles seraient impraticables ou indisponibles. Nos contributions sont triples. Tout d'abord, nous présentons GANCars, un modèle génératif qui apprend à synthétiser des ressources 3D cohérentes et rééclairées de voitures à partir d'images posées. Le modèle intègre un module d'ombrage basé sur la physique qui dissocie les propriétés des matériaux des conditions d'éclairage, permettant un rééclairage réaliste et une édition intuitive de surfaces difficiles telles que les surfaces brillantes des voitures. Deuxièmement, nous introduisons une méthode de reconstruction appelée Splat and Replace qui exploite les éléments répétés dans une scène grâce à une représentation partagée. En segmentant, alignant et fusionnant plusieurs instances similaires, nous récupérons les détails manquants ou bruités dans les observations individuelles et améliorons la synthèse de vues nouvelles dans les régions à visibilité limitée. Troisièmement, nous proposons une approche de diffusion de bout en bout pour l'insertion d'objets, dans laquelle un objet est placé dans un nouvel environnement avec un éclairage harmonisé et des reflets et ombres plausibles sur la scène. Ensemble, ces travaux illustrent que l'exploitation de modalités complémentaires multi-vues et multi-éclairages offre un principe puissant pour un large éventail de tâches 3D fondamentales. En transformant des observations incomplètes, hétérogènes et souvent imparfaites en modèles 3D cohérents, nos méthodes améliorent la fidélité des ressources générées, la contrôlabilité des opérations d'édition et la généralisation des pipelines de reconstruction à des environnements réels complexes.