Modélisation de l'activité gestuelle et sélection automatique de feedback pour des environnements interactifs d'apprentissage : application à la calligraphie

L'apprentissage de geste est un processus complexe, impliquant de nombreux processus sous-jacents (psychomoteurs, cognitifs, biophysiques). Cet apprentissage peut être divisé en plusieurs grandes phases, définies par la capacité de l'apprenant à produire et à percevoir son geste. A l'instar d'un formateur adaptant son discours et son attitude à l'apprenant, un environnement d'apprentissage doit pouvoir adapter les aides qu'il fournit, d'une part en analysant l'état de l'apprenant, et d'autre part en prédisant les aides qui bénéficieront à son apprentissage. Nous proposons une approche modélisant les interactions entre l'apprenant et l'environnement d'apprentissage; c'est-à-dire l'évolution de l'état de l'apprenant en fonction des configurations successives de l'environnement, permettant une adaptation automatique et dynamique de la sélection d'aides. En s'appuyant sur des travaux portant sur la reconnaissance de gestes et les tuteurs intelligents, nous proposons un cadre formel permettant de représenter la qualité de l'activité gestuelle dans un espace métrique. Cette représentation interprète les résultats issus de modèles probabilistes comme des variables floues illustrant le niveau de l'apprenant sur chacune des dimensions du geste. Nous représentons l'environnement comme l'ensemble des actions possibles, chaque action étant représentée par un vecteur de paramètres estimant la situation dans laquelle l'action est la plus pertinente. Dans un premier temps, ces paramètres sont fixés par des experts, et nous considérons cette expertise comme parfaite. Dans un second temps, nous étudions une problématique omniprésente dans les domaines des environnements d'apprentissage, qui fait état de l'écart entre l’expertise et la réalité. Les domaines "mal définis" sont en effet répandus, du fait du coût et de la difficulté à réunir des experts, et de la complexité inhérente à la définition précise d'un domaine. Ne considérant plus le seul avis des experts, le processus de sélection d 'aides peut alors être vu comme une séquence de décisions dont l'objectif est de proposer à chaque itération l'action qui maximisera le gain en matière d'apprentissage. En s'appuyant sur des travaux récents portant sur les séquences de décisions, notre approche considère le processus de sélection d'aides comme un problème de bandit. Le problème de bandit vise à maximiser un gain lors d'une séquence de décisions, et modélise le compromis entre exploration (choisir une action dont l'influence est inconnue), et exploitation (choisir la meilleure action connue). Nous proposons dans ce cadre une extension des méthodes SoftMax. L'implémentation de notre modèle sur une plateforme d'apprentissage de la calligraphie a été réalisée dans le cadre d'une collaboration avec des experts de ce domaine. Nous montrons, au travers de deux cas d’étude, l'intérêt de notre modèle pour l'apprentissage de la calligraphie. Dans le premier cas d’étude, l'adaptation est construite depuis notre représentation du geste, et un ensemble de règles fixées par des experts. Nous y montrons l'avantage apporté par l'apport d'une diversité d'aides. Dans le second cas d'étude, nous comparons deux types d 'adaptation : une adaptation basée sur des règles, et une adaptation basée sur notre approche dynamique. Nous montrons les différences entre ces deux approches, et illustrons les avantages de l'approche dynamique lorsque les règles sont imprécises.