Hybrid AI-Based Approach Utilizing EEG-Facial Expression fusion for Human-Machine Interaction

Approche Hybride Basée sur l'IA, par fusion EEG-Expression Faciale pour l'Interaction Humain-Machine La reconnaissance des émotions par électroencéphalogramme (EEG) est un domaine de recherche qui explore l'utilisation des signaux cérébraux pour identifier les émotions d'une personne. Ceci peut être réalisé en décodant les modèles EEG associés aux émotions ou en utilisant l’apprentissage automatique pour discerner les modèles dans les enregistrements EEG. Cette technologie trouve des applications dans la réalité virtuelle, les jeux interactifs, le divertissement, le bien-être mental, l'évaluation psychiatrique, le conseil et la thérapie. De plus, la reconnaissance des émotions par EEG est prometteuse pour la détection automatisée et la reconnaissance en temps réel des états émotionnels. Il informe également les interfaces sensibles aux émotions et divers systèmes informatiques affectifs, ce qui en fait un élément essentiel des interactions humaines.En parallèle, les méthodes de vision par ordinateur pour la reconnaissance automatique des émotions ont suscité une attention considérable. L’une des approches les plus importantes consiste à traiter les signaux EEG multicanaux. Cependant, les signaux EEG sont considérés comme une « boîte noire » en raison d’une compréhension limitée de leur génération et de leur signification. Bien que l’EEG soit largement utilisé pour les diagnostics médicaux, de nombreuses incertitudes subsistent quant à son fonctionnement interne et à ses implications.Cette thèse présente un nouveau modèle convivial pour la reconnaissance des émotions qui utilise comme entrée des cartes cérébrales dérivées de canaux EEG optimisés. Les cartes cérébrales représentent des caractéristiques spatiales extraites des signaux EEG, et le modèle mathématique proposé est basé sur les échelles de couleurs des cartes thermiques cérébrales. Ce modèle offre une flexibilité pour appliquer diverses techniques d'optimisation.L'optimisation globale d'homologie simplifiée (SHGO) est choisie comme technique d'optimisation globale en raison de son efficacité dans la gestion des défis présentés par les signaux EEG, qui dépendent de l'activité neurologique d'un individu. Les cartes thermiques cérébrales, affichant l’activité cérébrale du bleu (minimale) au rouge (élevée), jouent un rôle déterminant dans ce contexte, construites sur la base de différentes caractéristiques EEG et plages de fréquences.Le modèle est formé et testé sur l'ensemble de données DEAP et une base de données auto-collectée avec différentes classifications d'émotions. Les signaux EEG biométriques humains sont précieux dans les systèmes d’interface cerveau-ordinateur (BCI), couvrant des applications allant des neurosciences au neuromarketing. Ce travail vise à numériser les émotions humaines, en imitant l’empathie des machines. Une expérience de validation de principe consiste à capturer des signaux EEG avec un casque EMOTIV EPOC, à générer des cartes thermiques d'intensité 2D pour des stimuli émotionnels prédéfinis et à utiliser un réseau neuronal artificiel (ANN) pour la classification.La contribution clé réside dans l'exploitation d'outils de reconnaissance d'images matures dans les systèmes ANN et de réseaux neuronaux convolutifs (CNN) pour reconnaître les émotions en adaptant la carte d'intensité 2D de l'activité cérébrale EEG. Un système multimodal améliore l’efficacité globale. Le CNN d'EEG de valence, formé et validé sur une base de données de 16 participants, a atteint une précision de 87,43 % en tant que système autonome, qui a augmenté à 91,21 % lorsqu'il est combiné avec le CNN d'expressions faciales.En résumé, la reconnaissance des émotions par EEG et les modèles basés sur les cartes cérébrales ont le potentiel de révolutionner la reconnaissance des émotions et l'interaction homme-machine, avec des applications allant du divertissement aux soins de santé.