Designing passive hybrid BCIs to estimate UX in virtual galleries

Conception d'interfaces cerveau-ordinateur passives et hybrides pour l'estimation de l'expérience utilisateur dans des galeries virtuelles Les humains du 21ème siècle sont exposés à un nombre inédit de stimuli esthétiques, particulièrement dans les espaces numériques tels que les réseaux sociaux. Dans ces espaces, la présentation de stimuli esthétiques, par exemple l'art visuel ou la musique, dépend de systèmes de recommandations qui requièrent un retour explicite de l'utilisateur. Cependant, un retour explicite demande du travail cognitif qui peut diminuer l'expérience esthétique (EE). Les interfaces cerveau-ordinateur (ICOs) passives permettent une surveillance implicite en temps réel des états mentaux, affectifs et conatifs de l'utilisateur. Ce travail fait partie du projet européen BITSCOPE qui a pour objectif d'améliorer l'expérience utilisateur (UX) en personnalisant la présentation d’œuvres d'art dans les galeries virtuelles. En particulier, le but de cette thèse est de tenter de concevoir des ICOs hybrides passives pour évaluer l'UX dans les galeries virtuelles d'art. L'UX dans les espaces d'art relève de l'expérience de l'art, i.e. l'EE. Les EEs sont des expériences complexes composées de divers états mentaux, notamment les états attentifs, affectifs et hédoniques. Les EEs étant hédoniques, nous postulons que des marqueurs de bonnes EE indiquent également une bonne UX et qu'améliorer les EE améliore la UX. Par conséquent, des ICOs décodant l'EE pourraient personnaliser la présentation de l'art dans les espaces numériques sans interruption et donc d'améliorer l'UX. Pour atteindre ce but, nous avons d'abord identifié des corrélats neurophysiologiques des EEs à partir de la littérature. Nous avons également créé une base ouverte avec plus de 200 stimuli d'art visuel très divers pour être utilisés dans des expériences en esthétique empirique. Ces stimuli ont ensuite été utilisés dans un protocole expérimental classique de présentation et d'évaluation de stimuli. Les données ont ensuite été analysées pour trouver des corrélats neuro-physiologiques de l'EE. Sur la base de ces analyses, nous avons implémenté des pipelines de classification classiques et de plus récents pour estimer les EEs à partir des données neuro-physiologiques en essai unique. Nous avons d'abord exploré les données de l'Électroencephalographie (EEG) et de la physiologie, i.e. l'activité électrodermale (AED) et la Photoplethysmographie, indépendamment avant de tester une approche multi-modale où des caractéristiques des différents modalités sont fusionnées ensemble. Bien que tous les modèles de décodage ont été inférieurs au niveau de chance en moyenne, certains modèles ont fourni des résultats relativement bons pour certaines personnes. Les caractéristiques AED étaient particulièrement informatives pour une personne, avec une précision de ca 88%. En revanche, le meilleur résultat EEG était ca 71% de précision. Nous avons observé que les EEs et leurs corrélats sont très variables, ce qui rend difficile de trouver des modèles de décodage fiables. Il semble plausible que des méthodes de décodage plus complexes, telles que l'apprentissage ensembliste, puissent améliorer les performances. Cependant, nous avons discerné des défauts fondamentaux dans le paradigme expérimental classique utilisé par nous et dans la littérature. Notamment, ce type de protocole impose des contraintes artificielles aux participants ce qui résulte en des différences qualitatives d'attention comparées aux expériences d'art hors du laboratoire. Ces défauts limitent la généralisation des résultats obtenus vers des applications dans la vraie vie. En outre, ces protocoles sont difficiles à adapter aux ICOs en ligne. Au lieu de cela, nous proposons un nouveau protocole expérimental écologique et adapté pour le décodage en ligne. De plus, nous examinons certains défis liés à la recommandation d'art. En particulier, nous considérons le risque de biais de recommandation qui peut diminuer l'EE. , nous discutons également des applications de santé et de bien- être, ainsi que des problèmes éthiques liés à cette technologie.