Quality Evaluation for Stitched Panoramic Videos

Evaluation de la qualité de vidéos panoramiques synthétisées La création des vidéos panoramiques de haute qualité pour des contenus immersifs en VR est généralement faite à l'aide d'un appareil doté de plusieurs caméras couvrant une scène cible. Malheureusement, cette configuration introduit à la fois des artefacts spatiaux et temporels dus à la différence entre les centres optiques et à la synchronisation imparfaite. Les mesures de qualité d'image traditionnelles ne peuvent pas être utilisées pour évaluer la qualité de ces vidéos, en raison de leur incapacité à capturer des distorsions géométriques. Dans cette thèse, nous proposons des méthodes pour l'évaluation objective des vidéos panoramiques basées sur le flux optique et la saillance visuelle. Nous validons cette métrique avec une étude centrée sur l'homme qui combine l'annotation d'erreurs percues et l'eye-tracking.Un défi important pour mesurer la qualité des vidéos panoramiques est le manque d'une vérité-terrain. Nous avons étudié l'utilisation des vidéos originales comme référence pour le panorama de sortie. Nous notons que cette approche n'est pas directement applicable, car chaque pixel du panorama final peut avoir une à N sources correspondant à N vidéos d'entrée avec des régions se chevauchant. Nous montrons que ce problème peut être résolu en calculant l'écart type des déplacements de tous les pixels sources à partir du déplacement du panorama en tant que mesure de la distorsion. Cela permet de comparer la différence de mouvement entre deux images données dans les vidéos originales et le mouvement dans le panorama final. Les cartes de saillance basées sur la perception humaine sont utilisées pour pondérer la carte de distorsion pour un filtrage plus précis.Cette méthode a été validée par une étude centrée sur l'homme utilisant une expérience empirique. L'expérience visait à déterminer si les humains et la métrique d'évaluation détectaient et mesuraient les mêmes erreurs, et à explorer quelles erreurs sont les plus importantes pour les humains lorsqu'ils regardent une vidéo panoramique.Les méthodes décrites ont été testées et validées et fournissent des résultats intéressants en ce qui concerne la perception humaine pour les mesures de qualité. Ils ouvrent également la voie à de nouvelles méthodes d'optimisation de l'assemblage vidéo, guidées par ces mesures de qualité.