Metalearning under uncertainty

Méta-apprentissage en situation d'incertitude : étude comportementale et computationnelle de l’adaptabilité chez l’homme L’apprentissage correspond à l’adaptation du comportement en fonction d’objectifs intrinsèques et de contraintes externes. Dans un environnement déterminé par des règles inobservables et changeantes, il est nécessaire d’adapter ces mécanismes mêmes, on parle alors de méta-apprentissage. La littérature sur le méta-apprentissage chez l’humain est classiquement divisée en deux approches. D’une part, plusieurs résultats comportementaux et neurophysiologiques montrent que les humains sont capables de moduler l’apprentissage d’associations stimulus-action en fonction de variables latentes de l’environnement. Ces mécanismes d’optimisation continue reposent souvent sur l’activité du cortex préfrontal, en particulier dans sa partie médiale. D’autre part, les mêmes structures ont été associées à la sélection de stratégies globales, impliquant des représentations discrètes et abstraites. L’objectif de cette thèse est de contribuer à une vision unifiée du méta-apprentissage par la clarification de trois dimensions. Premièrement, le méta-apprentissage peut être formalisé du bas vers le haut, c’est-à-dire à partir de l’apprentissage de liens entre stimuli et actions élémentaires ; ou du haut vers le bas, c’est-à-dire à partir de représentations cognitives abstraites. Deuxièmement, le méta-apprentissage peut opérer à un niveau local, c’est-à-dire ajuster finement chaque composant d’une stratégie, ou à un niveau global par la coordination de plusieurs stratégies en parallèle. Troisièmement, les adaptations peuvent être continues (optimisation) ou discrètes (sélection). Bien que chaque dimension présente des extrêmes, ceux-ci ne sont pas mutuellement exclusifs (par exemple des phénomènes locaux et globaux peuvent coexister), mais la question de leur intégration dans un processus commun reste irrésolue. A travers 2 études, nous avons pu étudier les capacités de méta-apprentissage de volontaires sains dans 5 environnements différents. Bien que les participants n’étaient pas informés des variations de la tâche expérimentale, ils ont présenté une variabilité comportementale importante en réaction aux régularités statistiques des différents environnements. En particulier, nous mettons en évidence des signatures caractéristiques d’adaptation globale, impliquant la manipulation de stratégies plutôt que l’ajustement continu de paramètres d’apprentissage local. De plus, nos données appuient un modèle de méta-apprentissage du haut vers le bas, où les agents s’adaptent par inférence stratégique dans un répertoire de stratégies spécifiquement adaptées à la tâche, plutôt que par la construction de liens associatifs élémentaires. Par des simulations nous montrons que ce modèle peut présenter à la fois des transitions discrètes et des adaptations continues de variables internes. Pris ensemble, nos résultats suggèrent que le méta-apprentissage est avant tout un processus d’inférence globale, dépendant de capacités de haut niveau d’abstraction telles que la mémoire épisodique ou la génération d’hypothèses sur les règles cachées de l’environnement.