3D hand-object reconstruction from RGB images

Reconstruction 3D main-objet à partir d'images RGB La reconstruction 3D main-objet est un problème complexe en vision par ordinateur, notamment en raison des variations dans les catégories d'objets, les formes, les matériaux, et les textures, ainsi que l'occlusion mutuelle entre la main et l'objet, entraînant souvent des vues partielles. Pourtant, l'estimation précise de formes 3D sans modèle prédéfini est essentielle pour des applications en réalité augmentée (AR) / réalité virtuelle (VR) et des tâches robotiques comme l'interaction homme-robot. Les méthodes actuelles, basées sur des images uniques ou des vidéos monoculaires, montrent des résultats prometteurs, mais sont limitées par l'hypothèse de classes d'objets connues, la dépendance à des techniques de détection de points clés et de structure-from-motion. Elles échouent souvent face à des objets mal texturés ou des occlusions main-objet.Cette thèse aborde le défi de la reconstruction 3D détaillée et conjointe main-objet à partir de vidéos monoculaires, indépendamment des objets. Notre travail apporte trois contributions principales. Premièrement, nous présentons un pipeline en deux étapes pour la reconstruction conjointe main-objet. Ce pipeline, testé sur le jeu de données vidéo SHOWMe, propose des transformations et une reconstruction des formes main-objet. Bien qu'efficace, il présente des difficultés avec les objets petits ou uniformément texturés. Pour surmonter cela, notre deuxième contribution introduit un cadre robuste d'estimation de transformations main-objet pour les scénarios avec peu de données. Ce cadre comprend un réseau d'estimation de poses relatives, suivi d'une optimisation des transformations globales main-objet sur un graphe de scène. Intégré à notre pipeline initial, il démontre sa robustesse face à des objets variés, mais nécessite un ajustement fin pour différents jeux de données.Enfin, nous proposons une méthode sans détecteur de points clés pour l'estimation des transformations main-objet, indépendante de l'appareil de capture et capable de généraliser sans ajustement préalable. Intégrée à notre pipeline, elle est testée avec succès sur les jeux de données SHOWMe et HO3D, confirmant ses performances et sa capacité de généralisation.