Continuous auditory feedback for sensorimotor learning

Retour sonore continu pour l'apprentissage sensorimoteur Notre système sensorimoteur a développé une relation particulière entre nos actions et le retour sonore qui en découle. Les systèmes de captation gestuelle et les technologies audio permettent de manipuler ce retour sonore par la sonification interactive du mouvement. Nous explorons dans divers cadres expérimentaux la contribution de la sonification à l'apprentissage moteur dans les systèmes interactifs. Tout d'abord, nous montrons que le système auditif intègre des indices acoustiques issus du mouvement pour le contrôle moteur. Des représentations de l'espace émergent de ces indices et sont transformées en commandes motrices. Le cas d'un objet virtuel sonore nous apprend que ces représentations audiomotrices influencent les stratégies d'exploration et permettent des cas de substitution sensorielle par le son. Ensuite, nous mesurons qu'un retour sonore continu permet d'améliorer significativement la performance à une tâche de poursuite. La sonification de l'erreur et des paramètres de la tâche aident à la performance mais montrent des effets différents sur l'apprentissage. Nous observons également que la sonification du mouvement de l'utilisateur augmente l'énergie contenue dans le geste et prévient la dépendance au retour sonore. Enfin, nous présentons le concept de tâche sonore dans lequel la cible est présentée et s'exprime sous forme de paramètres sonores à reproduire. Les résultats montrent qu'une adaptation motrice peut être provoquée par des indices acoustiques seuls. Ce travail permet de dégager des principes importants du design de l'interaction geste-son, et présente des applications originales comme des scénarios interactifs pour la rééducation.