Localisation d'objets 3D industriels à l'aide d'un algorithme de SLAM contraint au modèle

Un besoin applicatif existe en terme de localisation 3D d’objets par vision. Cette technologie devient en effet de plus en plus populaire dans le milieu industriel où elle peut être utile lors de contrôle qualité, de robotisation de tâches ou encore d’aide à la maintenance par Réalité Augmentée. Néanmoins, le déploiement de telles applications est actuellement limité en raison de la difficulté à allier qualité de localisation, facilité de mise en oeuvre et généricité de la solution. En effet, la majorité des solutions implique : soit des étapes de mise en oeuvre complexes comme avec l’installation de capteurs de mouvement ou une préparation supervisée du modèle CAO; soit un manque de précision de la localisation dans le cadre de certaines applications nécessitant de prendre en compte des mouvements de fortes amplitudes de la caméra (provoquant du flou de bouger et des tremblements dans le flux vidéo) ainsi que des occultations partielles ou totales de l’objet ; soit enfin une restriction sur la nature de l’objet, celui-ci devant être texturé, de petite taille ou encore polyédrique pour avoir une bonne localisation. La plupart des solutions de localisation existantes correspondent à des approches de suivi basé modèle. Cette méthode consiste à estimer la pose relative entre la caméra et l’objet d’intérêt par mises en correspondance de primitives 3D extraites du modèle avec des primitives 2D extraites d’images d’un flux vidéo. Pour autant, cette approche atteint ses limites lorsque l’objet est difficilement observable dans l’image.Afin d’améliorer la localisation lorsque l’application concerne un objet fixe, de récentes solutions se sont appuyées en complément des primitives du modèle, sur des primitives de l’environnement reconstruites au cours du processus de localisation. Ces approches combinent algorithmes de SLAM (Simultaneous Localization And Mapping) et de suivi d’objet basé contours en utilisant les informations du modèle comme contrainte dans le processus d’optimisation du SLAM. Pour cela, un terme d’erreur est ajouté à la fonction de coût classique.Celui-ci mesure l’erreur de re-projection entre des primitives 3D issues des arêtes franches du modèle et les points de contour 2D dans l’image qui leur sont associés. L’ajout de cette contrainte permet d’exprimer la localisation du SLAM dans le repère de l’objet d’intérêt tout en réduisant sa dérive. Les solutions de SLAM contraint au modèle n’exploitant cependant que les contours francs du modèle, ne sont pas génériques et ne permettent de localiser que des objets polyédriques. De plus, l’ajout de cette contrainte entraîne une forte augmentation de la consommation mémoire, les images de contours nécessaires à l’étape de mise en correspondance devant être conservées.Les travaux présentés dans ce mémoire de thèse visent à fournir une solution répondant simultanément à l’ensemble des besoins concernant la facilité de déploiement, la qualité de localisation et la généricité sur la nature des objets suivis. Aussi, notre solution basée sur un algorithme de SLAM visuel contraint basé images clés, se restreint-elle au seul usage d’une caméra couleur, les caméras RGBD impliquant généralement une limite sur le volume, la nature réflective ou absorbante de l’objet, et sur la luminosité de son environnement. Cette étude est en outre restreinte à la seule exploitation de modèles 3D géométrique non texturés, les textures pouvant difficilement être considérées comme stables dans le temps (usure, taches...) et pouvant varier pour un même objet manufacturé. De plus, les modèles à base de nuages de descripteurs locaux ou les modèles surfaciques texturés sont actuellement des données peu disponibles dans l’industrie. Enfin, nous faisons le choix d’estimer la pose de la caméra de manière géométrique et non par apprentissage. Le suivi d’objets à l’aide d’apprentissage automatique est en effet encore difficilement exploitable en milieu industriel. (...)