Processing Mesh Surface Signals for Appearance Modeling

Traitement de signaux de surface sur maillages pour la modélisation d'apparence De récentes avancées technologiques, et en particulier le développement de la réalité mixte, associées à un besoin urgent pour des applications de téléprésence dans de nombreux domaines, créent une forte demande pour du contenu 3D acquis directement à partir d'observations réelles.Ce type de contenu peut ensuite être manipulé et utilisé pour du rendu interactif depuis n'importe quel point de vue, afin de générer une expérience immersive pour l'utilisateur.Le processus de modélisation implique généralement de reconstruire séparément la forme et l'apparance d'une scène, à partir d'un ensemble de photographies 2D.Il est crucial d'avoir une représentation fidèle de cette apparence, sous peine de briser la sensation d'immersion.Pour autant, il reste de nombreux défis à résoudre, et nous abordons certains d'entre eux dans cette thèse.Il existe de nombreuses méthodes pour calculer, stocker et rendre l'information d'apparence.Compte tenu du fait que ces modèles doivent être stockés et transmis de façon efficace, nous nous focalisons sur le type de représentation le plus compact, qui est sans doute aussi le plus utilisé: un maillage 3D avec une texture de couleur.Nous contribuons à différents aspects du problème de modélisation d'apparence dans ce contexte, notamment à l'échantillonnage, la compression, et la super-résolution d'apparence, ainsi qu'au débruitage de surface.Tout d'abord, la quantité d'information d'apparence disponible en entrée n'est pas uniforme sur la surface.Pourtant, une carte de texture, qui est la méthode ordinaire de paramétrisation de la surface, ne permet pas un échantillonnage non uniforme.En utilisant la paramétrisation propre des maillages, nous proposons une stratégie d'échantillonnage adaptative, qui est plus à même d'acquérir efficacement l'information disponible.Ensuite, comme notre modèle d'apparence ne peut pas être compressé efficacement, nous le dotons d'une méthode de compression avec pertes, ce qui le rend plus efficace que des textures image, en matière de rapport entre débit binaire et qualité visuelle.Plusieurs sources de bruit rendent le problème de modélisation d'apparence particulièrement difficile, parmi lesquelles se trouve le bruit géométrique.Etant donné le succès des réseaux de convolutions pour le débruitage d'images, nous contribuons au domaine du débruitage de maillages avec la première approche d'apprentissage profond de bout en bout, pour du débruitage de normales, basée sur un réseau de convolutions sur graphes.Enfin, nous abordons le problème de super-résolution d'apparence, dont le but est d'extraire une apparence détaillée à partir d'observations basse résolution.Nous présentons une approche innovante, avec une méthode d'apprentissage qui est entrainée pour améliorer l'apparence dans l'espace image, plutôt que dans un espace de texture partagé.