Reconnaissance d’expressions corporelles dans des mouvements de personnes en vue de la synthèse de style

Le thème de ma thèse concerne la reconnaissance et la synthèse d’expressions faciales et corporelles. Notre problématique est d’étudier, de comprendre et d’extraire les éléments qui traduisent l’état émotionnel d’une personne à partir des expressions de son visage et de son corps, dans le but de la reconnaissance et également de la synthèse de l’émotion ou du style dans un geste. Ce double objectif de reconnaissance et de synthèse permettra de généraliser de nouveaux modes d’interactions dans des applications comme les jeux-vidéos, l’interaction homme-machine, etc. En effet, ces applications pourront s’enrichir de scénario qui pourraient d’adapter à l’état émotionnel de l’utilisateur. Pour répondre à ce problème, le point crucial est de comprendre « où » se situe l’information de style dans une action ou une animation. En effet, un humain sait en quelques secondes caractériser une expression qu’il voit alors que les algorithmes de reconnaissance en sont encore loin notamment pour les expressions corporelles où à notre connaissance, peu de travaux ont été réalisés comparé à la reconnaissance des expressions faciales. Concernant la reconnaissance des expressions, notre objectif est, dans un premier temps, de proposer des descripteurs capables de reconnaître l’expression portée par un mouvement. Pour cela, le principal verrou est d'arriver à séparer le mouvement réalisé de l'expression perçue. Concernant la reconnaissance d'expressions faciales, nous nous intéressons au problème sociétal concernant la protection parentale. Pour cela, il est nécessaire de comprendre et de savoir reconnaitre des d'expressions faciales chez des enfants. Afin de résoudre ce problème, nous avons construit et proposé une nouvelle base de données dans le but d'aider la communauté de la vision par ordinateur à comprendre les spécificités des expressions faciales de visages d'enfants. Dans un second temps, nous souhaitons également que les différents descripteurs proposés en reconnaissance d'expressions corporelles puissent être utilisés dans le domaine de la synthèse d’animations. En effet, dans le domaine de l’animation, la création d’une action porteuse d'une émotion ou d'un style nécessite énormément de travail, de savoir-faire et de temps à un animateur afin de proposer des animations stylisées. Par exemple, dans un jeu-vidéo, pour créer de telles animations, il est souvent nécessaire de disposer d’une énorme base de données de mouvements incluant chaque style pour chaque personnage virtuel. Pour disposer d’une telle base de données, on a souvent recours à l’une des 2 méthodes suivantes. La première consiste à procéder à la capture de tous les mouvements réalisés par différents acteurs jouant différents styles. Dans la seconde, c’est le graphiste qui doit réaliser les différentes animations à la main en utilisant un logiciel d’animation. Notre objectif dans ce cadre est de mettre à profit les descripteurs quantifiant l’expression détectée en reconnaissance d’expressions faciales et corporelles afin de développer des outils capables de changer / éditer le style ou l’expression d’une animation. Ces outils permettront d’assister et de faciliter le travail des graphistes en leur permettant de synthétiser rapidement une « animation primale » stylisée. Ces animations stylisées pourront être affinées en post-processing en apportant une touche artistique à l’animation générée.