Learning Based Point Cloud Attribute Compression

Compression d'attributs de nuages de points à trois dimensions basées sur l'apprentissage profond de réseaux de neurones Au cours des dernières années, la consommation de contenu vidéo s'est orientée vers des formats immersifs tels que les rediffusions 3D dans le sport et les jeux VR, visant une immersion 6DoF permettant aux utilisateurs de se déplacer librement dans l'environnement 3D. Cette technologie trouve des applications au-delà du divertissement, notamment la téléprésence pour améliorer les réunions en ligne et la documentation 3D des sites du patrimoine culturel à des fins de préservation. Les nuages de points (NdP), bien qu'offrant des représentations 3D détaillées, nécessitent un stockage et une bande passante importants en raison de leur taille considérable. Pour permettre une adoption généralisée du contenu 3D, des techniques de compression efficaces pour les nuages de points sont cruciales.Cette thèse étudie l'application des techniques d'apprentissage profond à la compression d'attributs de nuages de points (PCAC). Plus précisément, nous explorons plusieurs domaines: la compression d'attributs à l'aide d'architectures Normalizing Flow (NF), la réduction de la complexité des approches NF, l'utilisation d'approches de bout en bout scalables pour la compression d'attributs, l'utilisation d'architectures inversibles basées sur des schémas de compression plus traditionnels et l'utilisation d'un type de convolution différent. Les approches d'apprentissage profond n'ont pas été explorées auparavant pour la compression d'attributs dans la littérature, car la plupart des travaux se concentrent sur l'apprentissage basé sur la compression de géométrie.Tout d'abord, nous proposons des alternatives à l'Auto-encodeur Variationnel largement utilisé. Nous créons une nouvelle couche pour la compression d'attributs afin de permettre aux architectures d'augmenter le champ réceptif des convolutions de manière inversible. Ce bloc nous permet d'augmenter le nombre de canaux dans les convolutions, tout en maintenant l'inversibilité, ce qui peut être un facteur intéressant lorsque la reconstruction de haute qualité est nécessaire. Nous étudions également différentes méthodes pour réduire la complexité des architectures basées sur NF en échantillonnant les informations de canal à l'aide de blocs de construction issus de méthodes de super-résolution. En explorant encore plus en profondeur la recherche de réduction du nombre de coefficients, nous concevons une convolution masquée par canal, qui nous permet de gérer la sparsité des nuages de points et d'obtenir un réseau inversible.Nous explorons également la viabilité de l'unification de deux approches d'apprentissage différentes dans une première méthode de bout en bout scalable, qui peut tirer parti de la corrélation restante dans les informations résiduelles du nuage de points encodé. En outre, nous explorons d'autres architectures inversibles, basées sur des techniques de compression d'images plus traditionnelles, en créant la première architecture basée sur le lifting pour la compression d'attributs de nuages de points. Nous concevons un bloc de lifting masqué par décalage, qui nous permet d'effectuer une opération de lifting sur les nuages de points sparses et irréguliers tout en tirant parti des méthodes de convolution sparse. En outre, nous proposons également une nouvelle approche de projection pour les nuages de points, qui vise à réduire la perte de géométrie inhérente aux approches de projection plus conventionnelles en effectuant des micro-projections pour correspondre à la taille du noyau où les convolutions seront calculées.Enfin, nous concluons le travail en abordant les questions de recherche ouvertes en matière de compression de nuages de points, en examinant les solutions existantes et les orientations futures. Nous soulignons les perspectives sur la compression conjointe de la géométrie et des attributs et sur les méthodes basées sur la projection, ainsi que l'importance de réduire la complexité et d'assurer la reproductibilité des approches basées sur l'apprentissage.