Application of Interactive Machine Learning Models For Human-Robot Interaction : the Human Attention Approach

Application de modèles interactifs d'apprentissage automatique pour l'interaction homme-robot : l'approche de l'attention humaine Dans cette thèse, nous développons des techniques algorithmiques et informatiques pour utiliser des modèles d'attention améliorés pour une interaction sociale homme-robot intuitive et efficace. L'un des modèles d'attention que nous utilisons dans notre thèse est la prédiction interactive de la saillance vidéo, que nous faisons progresser par le biais d'une contribution de recherche. Nous développons un modèle de prédiction de la saillance vidéo basé sur stacked-convLSTM qui utilise l'ensemble de données Dynamic Human Fixation (DHF1K) pour prédire l'attention humaine. Pour évaluer notre modèle, nous utilisons la salacité normalisée par balayage (NSS), la métrique de similarité (SIM), le coefficient de corrélation linéaire (CC), l'AUC-Judd (AUC-J) et l'AUC mélangée (s-AUC) pour tenir compte de la nature de la prédiction de la salacité. Nos résultats expérimentaux montrent une performance exceptionnelle de notre modèle de prédiction de la saillance par rapport aux modèles les plus récents. En plus de la prédiction de la saillance, nous discutons de notre contribution au problème de l'apprentissage automatique de la détection et de la segmentation des objets mobiles. Nous introduisons une technique robuste deNous introduisons une technique robuste de différenciation des images appelée différenciation des images par décalage XY, qui constitue un élément majeur de notre système interactif de détection et de segmentation des objets en mouvement.de notre cadre interactif de détection et de segmentation d'objets en mouvement. Nous utilisons une version modifiée de l'ensemble de données du réseau de détection des changements (CDNet-2014) pour entraîner et évaluer notre modèle. Nos résultats expérimentaux détaillés basés sur une stratégie de validation croisée quadruple montrent une performance exceptionnelle de notre modèle par rapport aux modèles de détection et de segmentation d'objets en mouvement les plus avancés. En outre, nous présentons un nouveau cadre d'IHM anthropomorphique basé sur l'attention. Nos travaux de recherche portent principalement sur l'utilisation de modèles d'attention en tant que fonctions heuristiques et sur leur impact sur l'amélioration de l'intuitivité et de l'efficacité de l'interaction homme-robot. Nous expérimentons les caractéristiques de notre cadre dans des environnements réels et virtuels en utilisant le système d'exploitation de robot (ROS) et des modules habilitants tiers comme modules de communication et de traitement, respectivement. Nous utilisons également le robot humanoïde Pepper, basé sur Linux, pour expérimenter les caractéristiques de notre cadre dans un environnement physique. En outre, nous utilisons Gazebo, un logiciel de simulation de robot, et le modèle du robot humanoïde Pepper pour évaluer les caractéristiques de notre modèle dans un environnement virtuel. Nos résultats expérimentaux montrent l'impact du cadre proposé dans l'amélioration de l'interaction sociale homme-robot. En conclusion, nous avons identifié plusieursde recherche potentielles qui pourraient intéresser les chercheurs dans les domaines de l'IRH, de l'apprentissage automatique et de la vision par ordinateur.