Estimating Expertise from Eye Gaze and Emotions

Estimation du niveau d'expertise à partir du regard et des émotions Dans cette thèse, nous explorons comment de telles théories issues des sciences cognitives peuvent servir de base à l'informatique pour favoriser l'émergence des technologies d'intelligence artificielle collaborative.En particulier, nous utilisons l'observation d'humains ayant différents niveaux d'expertise engagés dans la résolution de problèmes d'échecs classiques pour explorer l'efficacité des modèles pour l'attention visuelle, la prise de conscience, la compréhension et la résolution de problèmes.Nous avons construit un instrument pour la capture et l'interprétation de signaux multimodaux d'humains engagés dans la résolution de problèmes.Notre instrument permet d'enregistrer la posture du corps, les gestes, les expressions faciales, la dilatation de la pupille et les trajectoires oculaires, ainsi que les interactions du joueur avec le problème des échecs.Combinés aux rapports verbaux des joueurs, ces enregistrements permettent de construire des modèles informatiques pour la prise de conscience et la compréhension de la situation de jeu lors de la résolution de problèmes en utilisant des concepts et des modèles issus de la littérature des sciences cognitives.Dans le cadre d'une première expérience, les joueurs d'échecs ont été enregistrés alors qu'ils étaient engagés dans des problèmes de difficulté croissante.Ces enregistrements ont été utilisés pour estimer la conscience qu'avait un participant de la situation actuelle et pour prédire la capacité à répondre efficacement aux menaces et aux opportunités.L'analyse des enregistrements montre comment le regard, la posture du corps et les caractéristiques émotionnelles peuvent être utilisés pour capturer et modéliser la conscience de la situation.Cette expérience a validé l'utilisation de notre équipement comme outil général et reproductible pour l'étude des participants engagés dans une interaction sur écran impliquant la résolution de problèmes et a suggéré des améliorations possibles pour de futures expériences.Ces premières expériences ont révélé une observation inattendue de changements rapides dans les émotions des joueurs qui tentent de résoudre des problèmes difficiles.Les tentatives d'explication de cette observation nous ont amenés à explorer le rôle de l'émotion dans le raisonnement lors de la résolution de problèmes.Dans la deuxième partie de la thèse, nous passons en revue la littérature sur les émotions et proposons un modèle cognitif qui décrit comment les émotions influencent le processus par lequel les sujets sélectionnent des éléments cognitives (concepts) à utiliser dans l'interprétation d'une situation de jeu.En particulier, il est bien connu que la résolution de problèmes est fortement contrainte par les limites du nombre de phénomènes qui peuvent être considérés à la fois.Pour surmonter cette limite, les experts humains s'appuient sur l'abstraction pour former de nouveaux concepts à partir de phénomènes émotionnellement marqués.Nos expériences indiquent que l'émotion joue un rôle important, non seulement dans la formation des concepts mais aussi dans la sélection de ceux-ci dans le raisonnement.Nous émettons l'hypothèse que les experts conservent les associations de concepts et d'émotions dans la mémoire à long terme et les utilisent pour guider la sélection des concepts pour le raisonnement.Ce point de vue est conforme à l'hypothèse du marqueur somatique de Damasio (de 1991), qui avance que les émotions guident le comportement, en particulier lorsque les processus cognitifs sont surchargés.Nous présentons les premiers résultats d'une expérience conçue pour explorer la fidélité de notre modèle et pour rechercher des preuves du rôle des émotions dans la résolution des problèmes.Notre modèle suggère qu'une association des émotions avec des situations reconnues guide les experts dans leur sélection de configurations de jeu partielles à utiliser pour explorer l'arbre de jeu.