Towards an agnostic superpixel segmentation framework

Vers un cadre de segmentation en superpixels agnostiques Un problème classique de la segmentation d'images consiste à diviser des objets multiples en parties disjointes afin que leur délimitation puisse être réalisée avec précision par leur regroupement. Pour cette raison et plusieurs autres, la segmentation en superpixels a été largement utilisée comme étape intermédiaire pour résoudre de nombreux problèmes. Toutefois, les algorithmes de pointe sont confrontés à un défi de taille, à savoir une segmentation efficace et efficiente, quelles que soient les caractéristiques des objets et de l'arrière-plan et en tenant compte des souhaits de l'utilisateur en ce qui concerne, par exemple, la forme et la disposition. En d'autres termes, ils ne sont pas agnostiques en termes de domaine. Par exemple, si l'on souhaite une série de segmentations avec des caractéristiques spécifiques, plusieurs approches nécessiteraient plusieurs exécutions, une pour chacune d'entre elles. De même, si l'utilisateur ne s'intéresse qu'à un seul objet, seuls quelques algorithmes intègrent cette information par le biais de cartes de saillance. Cependant, ils sont souvent lents par rapport aux approches classiques ou, pour les méthodes d'apprentissage profond, leur performance en matière de délimitation est médiocre. Enfin, un autre problème se pose si l'utilisateur possède une segmentation multi-échelle mais n'est pas conscient de la possibilité d'explorer les propriétés hiérarchiques à des fins d'optimisation et de simplification de la tâche. À notre connaissance, il n'existe aucune proposition pour estimer la hiérarchisation ou la ressemblance d'une segmentation multi-échelle à une segmentation hiérarchique. Dans cette thèse, nous relevons ces deux défis en proposant plusieurs contributions. Pour la tâche agnostique, nous proposons un nouveau cadre de segmentation des superpixels, appelé Superpixels through Iterative CLEarcutting (SICLE), qui définit trois étapes indépendantes : (i) le suréchantillonnage des graines ; (ii) la génération de superpixels ; et (iii) l'élimination des graines. À partir de l'étape (i), au cours de laquelle un nombre significativement élevé de graines est sélectionné, les étapes (ii) et (iii) sont exécutées pour générer des superpixels à partir d'un ensemble de graines affiné jusqu'à ce que le nombre de superpixels souhaité soit atteint. L'agnosticisme du domaine est réalisé dans SICLE, principalement par les étapes (ii) et (iii), où l'utilisateur peut fournir une fonction objective pour l'optimisation. Les résultats expérimentaux montrent que les variantes de SICLE surpassent plusieurs algorithmes de pointe en termes de vitesse et de précision pour des domaines distincts, tout en générant une série de segmentations en une seule exécution. Cependant, aussi ressemblant que cela puisse paraître, SICLE ne garantit pas que le dernier multi-échelle soit hiérarchique en raison de violations de la localité. Dans SICLE, les contours d'une échelle précédente peuvent ne pas être présents dans l'échelle suivante, ce qui empêche l'imbrication entre les régions. Pour cela, nous avons étudié et catalogué huit cas possibles lors de l'analyse de segmentations subséquentes par paire et, à partir de ces cas, nous avons conçu trois mesures pour estimer le caractère hiérarchique d'une segmentation multi-échelle : (i) l'imbrication ; (ii) le rapport d'inflation ; et (iii) l'erreur de raffinement. Pour ce faire, nous avons étudié et catalogué huit cas possibles lors de l'analyse de segmentations subséquentes par paire et, à partir de ces cas, nous avons conçu trois mesures pour estimer le caractère hiérarchique d'une segmentation multi-échelle : (i) l'imbrication ; (ii) le ratio d'inflation ; et (iii) l'erreur de raffinement. À partir de nos résultats, il est possible de vérifier si une segmentation multi-échelle est une hiérarchie et, si ce n'est pas le cas, d'analyser et d'indiquer la nature et l'étendue des violations hiérarchiques qui l'empêchent d'être hiérarchique