Inter-reflections in computer vision : importance, modeling & application in spectral estimation

Inter-réflexion en vision par ordinateur : importance, modélisation and application en estimation spectrale Dans cette thèse, nous étudions un phénomène optique souvent ignoré en vision par ordinateur : les inter-réflexions. Les inter-réflexions, qui peuvent être trouvées dans l’état de l’art sous le nom « illumination mutuelle », se produisent quand une surface concave est illuminée. Dans ce cas, un rayon lumineux venant de la source de lumière vers un point de la surface, va réfléchir vers d’autres points de la même surface plusieurs fois avant d’arriver à nos yeux, ou aux capteurs de l’appareil photo. Donc, un rayon inter-réfléchi entre les différents points de la surface concave, d’où le nom « inter-réflexions». Les inter-réflexions conduisent aux variations de couleurs, ou gradients de couleurs, sur la totalité de la surface concave. Ces variations sont plus au moins prononcées selon plusieurs facteurs comme la réflectance de la surface et sa géométrie. Dans ce manuscrit, nous allons montrer que ces variations de couleurs contiennent en elles des informations importantes qui méritent d’être utilisées en vision par ordinateur. Ces mêmes variations jouent un rôle important dans la perception ce qui permet à l’être humain une meilleure constance de couleur, comme montré par nos résultats empiriques. Dans l’objectif d’utiliser efficacement les inter-réflexions pour quelques applications en vision par ordinateur, nous introduisons dans ce manuscrit un modèle spectral d’inter-réflexions prenant en compte une infinité de rebonds. Ce modèle construit sur des bases radiométriques nous permet de définir la relation entre les valeurs RGB brut correspondant à la surface concave dans l’image d’un côté, et la réflectance spectrale et la géométrie de cette même surface, la distribution de puissance spectrale de l’éclairage (SPD), et les courbes des réponses spectrales de l’appareil photo de l’autre côté. Grâce à ce modèle, nous sommes capables d’étudier plusieurs applications d’inter-réflexions en estimation spectrale. Nous montrons que l’estimation de la réflectance spectrale à partir d’une seule image RGB, une tâche qui est quasi-impossible sans apprentissage même sous un éclairage connu, est devenue possible grâce aux inter-réflexions. Nos résultats ontdémontré que l’estimation de la réflectance spectrale d’une surface concave donne une précision similaire, et même parfois meilleure, en comparaison avec les approches de l’état de l’art qui ont besoin de trois images de la même surface prises sous trois différents éclairages. De plus, les inter-réflexions nous ont aidés à proposer une application plus concrète de l’estimation de la réflectance spectrale dans laquelle il est possible d’utiliser un spectre d’un éclairage standard sans nécessiter un pré-calibrage pour les paramètres de l’acquisition. Par la suite, nous démontrons que les inter-réflexions sont aussi utiles dans des applications qui utilisent des mires de couleurs, comme par exemple la caractérisation de l’appareil photo. La nature de l’inter-réflexion sur une surface d’une seule couleur conduit aux couleurs spéciales qui sont les résultats des multiplications de la réflectance spectrale avec elle-même de multiples fois. Utiliser ces couleurs avec notre modèle d’inter-réflexion aide à introduire de la non-linéarité sur les mires de couleurs et donc à obtenir une meilleure caractérisation spectrale. Par conséquent, utiliser des mires de couleurs 3D est plus bénéfique qu’ajouter des nouvelles couleurs aux mires 2D. Finalement, nous entraînons un réseau neuronal convolutif sur des images simulés d’inter-réflexions dans le but d’estimer à la fois la réflectance spectrale de la surface et la SPD de l’éclairage d’une seule image RGB. Nos résultats expérimentaux démontrent que notre approche est capable d’estimer les deux spectres avec une très bonne précision en comparaison avec les autres approches. De plus, cette approche fonctionne très bien sur les images réelles grâce aux niveaux de bruits ajoutés dans le processus d’apprentissage.