Dyadic Adaptation of Facial Expressions Using Diffusion Models

Génération de comportements non verbaux adaptatifs chez les ACA et les robots sociaux par diffusion conditionnelle Mon travail de thèse, mené au sein de l'Institut des Systèmes Intelligents et de Robotique (ISIR) à l'Université Sorbonne, sous la supervision de Catherine Pelachaud et Laurence Chaby, porte sur la modélisation des agents virtuels et des robots sociaux capables d'exhiber des comportements non verbaux adaptatifs dans des interactions sociales. Plus précisément, mon projet se concentre sur la génération de comportements non verbaux, notamment les expressions faciales, en utilisant des modèles de diffusion dans le cadre des entretiens motivationnels (MI). Les entretiens motivationnels sont une technique d'accompagnement client-centré, souvent utilisée pour favoriser le changement de comportements, par exemple pour réduire la consommation d'alcool ou promouvoir une activité physique. Dans ce contexte, les agents virtuels et les robots sociaux doivent pouvoir adapter leurs expressions faciales en fonction des émotions et des échanges dialogiques avec l'utilisateur afin d'améliorer l'empathie et le rapport avec celui-ci. Mon approche se base sur l'analyse du corpus AnnoMI, une collection d'interactions entre des thérapeutes et des clients annotés selon les codes des actes dialogiques de l'entretien motivationnel. Cette analyse a permis d'identifier des modèles de co-occurrence d'unités d'action faciale (AUs) liés à différents actes dialogiques. J'ai initialement développé un modèle de diffusion conditionnel permettant de générer des séquences d'expressions faciales pour un conseiller virtuel dans un cadre d'entretien motivationnel. Ce modèle a été évalué de manière objective et subjective dans un contexte hors ligne, via une évaluation subjective impliquant des participants observant des vidéos de sessions d'entretien entre un agent virtuel et un client. Récemment, j'ai travaillé sur la transformation de cette configuration hors ligne en une architecture en temps réel, en réduisant considérablement le temps d'inférence du modèle à l'aide de techniques comme DPM-solver, permettant ainsi une interaction dynamique et adaptée. Cette nouvelle architecture permet d'adapter les expressions faciales de l'agent virtuel ou du robot Furhat en fonction des expressions faciales et des actes dialogiques d'un utilisateur en temps réel. De plus, le dialogue de l'agent est pris en charge par un modèle de langage large (LLM) spécifiquement adapté pour les entretiens motivationnels. L'objectif est de fournir un retour verbal adapté, enrichi par des comportements non verbaux empathiques. Pour évaluer l'efficacité de ce système, j'ai conçu une étude impliquant des participants humains interagissant avec un agent virtuel et un robot social Furhat. Cette étude inclut trois conditions différentes de contrôle des expressions faciales : à l'aide du modèle de diffusion, des expressions faciales aléatoires, et une condition sans expressions faciales. Mes travaux en cours se concentrent sur l'analyse des données de l'évaluation sur l'impact de la présence physique sur la qualité perçue des entretiens motivationnels, en comparant l'interaction avec un agent virtuel à celle avec le robot Furhat. De plus, j'explore la théorie de la violation des attentes (Expectancy violation theory) afin de mieux traiter les résultats et comprendre l'effet des incohérences potentielles entre les comportements verbaux et non verbaux de l'agent. L'objectif global de mes travaux est d'améliorer l'efficacité des agents interactifs et des robots sociaux dans des contextes sensibles tels que les entretiens motivationnels, où l'adaptation sociale, l'empathie, et la présence physique jouent un rôle essentiel dans la qualité de l'interaction.