Modulation de mouvements de tête pour l'analyse multimodale d'un environnement inconnu

L'exploration d'un environnement inconnu par un robot mobile est un vaste domaine de recherche visant à comprendre et implémenter des modèles d'exploration efficaces, rapides et pertinents. Cependant, depuis les années 80, l'exploration ne s'est plus contentée de la seule détermination de la topographie d'un espace : à la composante spatiale a été couplée une composante sémantique du monde exploré. En effet, en addition aux caractéristiques physiques de l'environnement — murs, obstacles, chemins empruntables ou non, entrées et sorties — permettant au robot de se créer une représentation interne du monde grâce à laquelle il peut s'y déplacer, existent des caractéristiques dynamiques telles que l'apparition d'événements audiovisuels. Ces événements sont d'une grande importance en cela qu'ils peuvent moduler le comportement du robot en fonction de leur localisation dans l'espace — aspect topographique — et de l'information qu'ils portent — aspect sémantique. Bien qu'imprédictibles par nature (puisque l'environnement est inconnu) tous ces événements ne sont pas d'égale importance : certains peuvent porter une information utile au robot et à sa tâche d'exploration, d'autres non. Suivant les travaux sur les motivations intrinsèques à explorer un environnement inconnu et puisant son inspiration de phénomènes neurologiques, ce travail de thèse a consisté en l'élaboration du modèle Head Turning Modulation (HTM) visant à donner à un robot doté de mouvements de tête la capacité de déterminer l'importance relative de l'apparition d'un événement audiovisuel dans un environnement inconnu en cours d'exploration. Cette importance a été formalisée sous la forme de la notion de Congruence s'inspirant principalement (i) de l'entropie de Shannon, (ii) du phénomène de Mismatch Negativity et (iii) de la Reverse Hierarchy Theory. Le modèle HTM, créé dans le cadre du projet européen Two!Ears, est un paradigme d'apprentissage basé sur (i) une auto-supervision (le robot décide lorsqu'il est nécessaire d'apprendre ou non), (ii) une contrainte de temps réel (le robot apprend et réagit aussitôt que des données sont perçues), et (iii) une absence de données a priori sur l'environnement (il n'existe pas de vérité à apprendre, seulement la réalité perçue de l'environnement à explorer). Ce modèle, intégré à l’ensemble du framework Two!Ears, a été entièrement porté sur un robot mobile pourvu d'une vision binoculaire et d'une audition binaurale. Le modèle HTM couple ainsi une approche montante traditionnelle d’analyse des signaux perceptifs (extractions de caractéristiques, reconnaissance visuelle ou auditive, etc.) à une approche descendante permettant, via la génération d’une action motrice, de comprendre et interpréter l’environnement audiovisuel du robot. Cette approche bottom-up/top-down active est ainsi exploitée pour moduler les mouvements de tête d’un robot humanoïde et étudier l'impact de la Congruence sur ces mouvements. Le système a été évalué via des simulations réalistes, ainsi que dans des conditions réelles, sur les deux plateformes robotiques du projet Two!Ears.