Multimodal data stream classification and prediction of e-learner’s emotional states

(English) Emotions and emotional intelligence are crucial for students' success both in traditional learning environments (face-to-face classroom), online education (or E-Learning/distance learning), and in more recently developed technological environments such as augmented workspaces (i.e., adaptive training systems based on augmented or virtual reality). Many researchers have examined the role of emotions in improving and optimizing the outcomes of those learning scenarios. Several approaches (ranging from machine learning/ deep learning models) have also been proposed to use one or more data modalities for emotion classification. However, those ML/DL models so far are suitable for offline mode, where data for emotion classification is stored and can be accessed infinitely. In addition, the recent technical developments and emerging Internet of Things (IoT) technologies have added a new dimension to those learning environments, with numerous feedback instruments (such as webcams, fit-bands, and so on) for engagement with learners. This new layer offers immense quantities of data with volume, diversity, and velocity, referred to as multi-modal data streams, as well as additional complexities in real-time data classification. Thus, the core scientific challenge involves systematically designing, developing, and evaluating a system for real-time emotion classification of learners using multi-modal data streams in those learning scenarios. Initially, this thesis investigates and answers the fundamental research questions by concentrating on the construction of a real- time emotion classification system employing multi-modal data streams, with a major focus on physiological signals (such as Electroencephalogram( EEG ), Electrocardiogram ( ECG), Electrodermal Activity ( EDA) and Respiratory Belt (RB)). Then, to address the fundamental questions raised in this thesis, we have devised a series of distinct methodologies, including Real-time Emotion Classification System (RECS ), Real-time Multi-modal Emotion classification System (ReMECS), and Reward Penalty Based Weighted Ensemble ( RPWE). Furthermore, the thesis extends the ReMECS approach to handle decentralized multi- modal data stream processing for real-time emotion classification with users privacy protection, called Federated Learning based ReMECS ( Fed-ReMECS). In addition, the solution of easy deployment of the federated learning-based approach (Docker- enabled Federated Learning ( DFL)) across distributed devices has also been proposed. All these proposed approaches performance is rigorously evaluated using two benchmark datasets, A Database for Emotion Analysis using Physiological Signals ( DEAP) and A Dataset for Affect, Personality and Mood Research on Individuals and Groups ( AMIGOS), demonstrating the superiority over existing state-of-the-art models. Note that these datasets are accessible after signing the End User License Agreement (EULA). As a result, this thesis contributes fundamentally to the core knowledge base in real-time emotion classification using multi-modal data streaming as a necessary prerequisite to precise and robust emotional interaction in different environments in the context of E-Learning. (Català) Les emocions i la intel·ligència emocional són crucials per a l'èxit dels estudiants tant en entorns d'aprenentatge tradicionals (aules presencials), educació en línia (o e-learning / aprenentatge a distància) com en entorns tecnològics desenvolupats més recentment, com en espais de treball augmentats (és a dir, sistemes d'entrenament adaptatiu basats en realitat augmentada o virtual). Molts investigadors han examinat el paper de les emocions en la millora i l'optimització dels resultats d'aquests escenaris d'aprenentatge. També s'han proposat diversos enfocaments (que van des de models d'aprenentatge automàtic/aprenentatge profund) per utilitzar una o més modalitats de dades per a la classificació de les emocions. No obstant, fins ara aquests models ML/DL són adequats per al mode offline, on les dades per a la classificació d'emocions s'emmagatzemen s hi pot accedir infinitament. A més, els recents avenços tècnics i les tecnologies emergents d'Internet de les coses (IoT) han afegit una nova dimensió a aquests entorns d'aprenentatge, amb nombrosos instruments de retroalimentació (com càmeres web, polseres esportives, i així successivament) per a la interacció amb els alumnes. Aquesta nova capacitat ofereix grans quantitats de dades amb volum, diversitat i velocitat, conegudes com a fluxos de dades multimodals, així com a complements addicionals en la classificació de dades en temps real. Per tant, el desafiament científic central implica dissenyar, desenvolupar i avaluar sistemàticament un sistema per a la classificació de les emocions dels estudiants en el temps real utilitzant fluxos de dades multimodals en aquests escenaris d'aprenentatge. Inicialment, aquesta tesi investiga i respon a les preguntes d'investigació fonamentals concentrant-se en la construcció d'un sistema de classificació d'emocions en temps real que fa servir fluxos de dades multimodals, amb un enfocament principal en senyals fisiològics (com a electroencefalograma (EEG), electrocardiograma (ECG), activitat electrodèrmica (EDA) i cinturó respiratori (RB)). Després, per abordar les preguntes fonamentals plantejades en aquesta tesi, hem ideat una sèrie de metodologies diferents, que inclouen un sistema de classificació d'emocions en temps real (RECS), un sistema de classificació d'emocions multimodal en temps real (ReMECS) i un conjunt ponderat basat en penalització de recompensa (RPWE). A més, la tesi amplia l'enfocament ReMECS per manejar el processament de flux de dades multimodal descentralitzat per a la classificació d'emocions en temps real amb protecció de la privacitat dels usuaris, anomenat ReMECS basat en aprenentatge federat (Fed- ReMECS). A més, també s'ha proposat la solució d'una fàcil implementació de l'enfocament basat en l'aprenentatge federat (Aprenentatge federat habilitat per a Docker (DFL)) en dispositius distribuïts. El rendiment de tots aquests enfocaments proposats s'avalua rigorosament utilitzant dos conjunts de dades de referència, una base de dades per a l'anàlisi de les emocions utilitzant senyals fisiològics (DEAP) i un conjunt de dades per a la investigació de l'afecte, la personalitat i l'estat d ànim en individus i grups (AMIGOS) demostrant la superioritat sobre els models d última generació existents. Cal tenir en compte que es pot accedir a aquests conjunts de dades després de signar l'acord de llicència d'usuari final (EULA). Com a resultat, aquesta tesi contribueix fonamentalment a la base de coneixement central en la classificació de les emocions en el temps real utilitzant la transmissió de dades multimodal com un requisit previ necessari per a una interacció emocional precisa i sòlida en entorns diferents en el context de l'e-learning. (Español) Las emociones y la inteligencia emocional son cruciales para el éxito de los estudiantes tanto en entornos de aprendizaje tradicionales (aulas presenciales), educación en línea (o e-learning/aprendizaje a distancia) como en entornos tecnológicos desarrollados más recientemente, como espacios de trabajo aumentados (es decir, sistemas de entrenamiento adaptativo basados en realidad aumentada o virtual). Muchos investigadores han examinado el papel de las emociones en la mejora y optimización de los resultados de esos escenarios de aprendizaje. También se han propuesto varios enfoques (que van desde modelos de aprendizaje automático/aprendizaje profundo) para utilizar una o más modalidades de datos para la clasificación de emociones. Sin embargo, hasta ahora esos modelos ML/DL son adecuados para el modo offline, donde los datos para la clasificación de emociones se almacenan y se pueden acceder a ellos infinitamente. Además, los recientes avances técnicos y las tecnologías emergentes de Internet de las cosas (IoT) han añadido una nueva dimensión a esos entornos de aprendizaje, con numerosos instrumentos de retroalimentación (como cámaras web, pulseras deportivas, y así sucesivamente) para la interacción con los alumnos. Esta nueva capa ofrece inmensas cantidades de datos con volumen, diversidad y velocidad, conocidos como flujos de datos multimodales, así como complejidades adicionales en la clasificación de datos en tiempo real. Por lo tanto, el desafío científico central implica diseñar, desarrollar y evaluar sistemáticamente un sistema para la clasificación de las emociones de los estudiantes en tiempo real utilizando flujos de datos multimodales en esos escenarios de aprendizaje. Inicialmente, esta tesis investiga y responde las preguntas de investigación fundamentales concentrándose en la construcción de un sistema de clasificación de emociones en tiempo real que emplea flujos de datos multimodales, con un enfoque principal en señales fisiológicas (como electroencefalograma (EEG), electrocardiograma (ECG), Actividad Electrodérmica viii (EDA) y Cinturón Respiratorio (RB)). Luego, para abordar las preguntas fundamentales planteadas en esta tesis, hemos ideado una serie de metodologías distintas, que incluyen un sistema de clasificación de emociones en tiempo real (RECS), un sistema de clasificación de emociones multimodal en tiempo real (ReMECS) y un conjunto ponderado basado en penalización de recompensa (RPWE). Además, la tesis amplía el enfoque ReMECS para manejar el procesamiento de flujo de datos multimodal descentralizado para la clasificación de emociones en tiempo real con protección de la privacidad de los usuarios, llamado ReMECS basado en aprendizaje federado (Fed-ReMECS). Además, también se ha propuesto la solución de una fácil implementación del enfoque basado en el aprendizaje federado (Aprendizaje federado habilitado para Docker (DFL)) en dispositivos distribuidos. El desempeño de todos estos enfoques propuestos se evalúa rigurosamente utilizando dos conjuntos de datos de referencia, una base de datos para el análisis de las emociones utilizando señales fisiológicas (DEAP) y un conjunto de datos para la investigación del afecto, la personalidad y el estado de ánimo en individuos y grupos (AMIGOS) demostrando la superioridad sobre los modelos de última generación existentes. Hay que tener en cuenta que se puede acceder a estos conjuntos de datos después de firmar el acuerdo de licencia de usuario final (EULA). Como resultado, esta tesis contribuye fundamentalmente a la base de conocimiento central en la clasificación de emociones en tiempo real utilizando la transmisión de datos multimodal como un requisito previo necesario para una interacción emocional precisa y sólida en diferentes entornos en el contexto del e-Learning.