Javascript must be enabled to continue!
Unsupervised multilingual models of speech representation, an approach inspired by cognitive science
View through CrossRef
Apprentissage non supervisé de modèles multilingues de représentation de la parole, une approche inspirée des sciences cognitives
La parole, qui est essentielle à l'acquisition du langage, véhicule différents types d'informations. Parmi elles, les informations linguistiques (propres au sens du message communiqué) et indexicales (liées à l'identité du locuteur, dont la langue parlée). Dans cette thèse, nous nous intéressons à la manière dont les nourrissons traitent ces deux types d'informations. Nous explorons de quelle façon les spécificités de l'environnement linguistique d'un nourrisson, en particulier l'exposition à des langues multiples et diverses, façonnent leur perception de la parole. Nous nous demandons également comment la façon dont les informations indexicales sont représentées influence l'apprentissage linguistique. En adoptant une approche de modélisation computationnelle, nous modélisons la représentation des informations indexicales et linguistiques lors de la perception de la parole chez le nourrisson, en tirant parti des avancées récentes en matière d'apprentissage automatique et de traitement de la parole. Par conséquent, nos contributions ont des implications significatives à la fois pour les sciences cognitives et pour le traitement de la parole. Tout au long de cette thèse, nous modélisons tour à tour la perception indexicale de la parole et la perception linguistique de la parole (qui implique la simulation de l'acquisition du langage) à partir de parole comme seule donnée d’entrée, sous différentes conditions, et en mettant particulièrement l'accent sur l'entrée de parole multilingue. Cette modélisation est passée par le développement de structures et de mesures appropriées pour des simulations d'apprentissage linguistique. Notre travail nous permet de souligner les avantages de la modélisation informatique dans la perception de la parole et l’apprentissage du langage chez le bébé, en fournissant des lignes directrices pour une telle approche. Ces simulations nous permettent également d'éclairer certaines hypothèses sur le traitement de la parole chez les nourrissons en servant de preuves de concept. Nous avons constaté que les mécanismes d'apprentissage statistique étaient suffisants pour simuler l'acquisition précoce du langage chez les nourrissons monolingues. Cependant, bien que nous ayons constaté un apprentissage linguistique avec les mêmes mécanismes avec des données d’entrées bilingues, nous n'avons pas pu reproduire les tendances observées chez les nourrissons bilingues. Ceci pourrait suggérer que ces mécanismes statistiques ne sont pas suffisants dans leur processus d'apprentissage du langage. Pour finir, nous examinons également les implications de notre travail dans le domaine du traitement de la parole, en discutant de l'effet de la distance linguistique et de l'interférence négative.
Title: Unsupervised multilingual models of speech representation, an approach inspired by cognitive science
Description:
Apprentissage non supervisé de modèles multilingues de représentation de la parole, une approche inspirée des sciences cognitives
La parole, qui est essentielle à l'acquisition du langage, véhicule différents types d'informations.
Parmi elles, les informations linguistiques (propres au sens du message communiqué) et indexicales (liées à l'identité du locuteur, dont la langue parlée).
Dans cette thèse, nous nous intéressons à la manière dont les nourrissons traitent ces deux types d'informations.
Nous explorons de quelle façon les spécificités de l'environnement linguistique d'un nourrisson, en particulier l'exposition à des langues multiples et diverses, façonnent leur perception de la parole.
Nous nous demandons également comment la façon dont les informations indexicales sont représentées influence l'apprentissage linguistique.
En adoptant une approche de modélisation computationnelle, nous modélisons la représentation des informations indexicales et linguistiques lors de la perception de la parole chez le nourrisson, en tirant parti des avancées récentes en matière d'apprentissage automatique et de traitement de la parole.
Par conséquent, nos contributions ont des implications significatives à la fois pour les sciences cognitives et pour le traitement de la parole.
Tout au long de cette thèse, nous modélisons tour à tour la perception indexicale de la parole et la perception linguistique de la parole (qui implique la simulation de l'acquisition du langage) à partir de parole comme seule donnée d’entrée, sous différentes conditions, et en mettant particulièrement l'accent sur l'entrée de parole multilingue.
Cette modélisation est passée par le développement de structures et de mesures appropriées pour des simulations d'apprentissage linguistique.
Notre travail nous permet de souligner les avantages de la modélisation informatique dans la perception de la parole et l’apprentissage du langage chez le bébé, en fournissant des lignes directrices pour une telle approche.
Ces simulations nous permettent également d'éclairer certaines hypothèses sur le traitement de la parole chez les nourrissons en servant de preuves de concept.
Nous avons constaté que les mécanismes d'apprentissage statistique étaient suffisants pour simuler l'acquisition précoce du langage chez les nourrissons monolingues.
Cependant, bien que nous ayons constaté un apprentissage linguistique avec les mêmes mécanismes avec des données d’entrées bilingues, nous n'avons pas pu reproduire les tendances observées chez les nourrissons bilingues.
Ceci pourrait suggérer que ces mécanismes statistiques ne sont pas suffisants dans leur processus d'apprentissage du langage.
Pour finir, nous examinons également les implications de notre travail dans le domaine du traitement de la parole, en discutant de l'effet de la distance linguistique et de l'interférence négative.
Related Results
Multimodal Emotion Recognition and Human Computer Interaction for AI-Driven Mental Health Support (Preprint)
Multimodal Emotion Recognition and Human Computer Interaction for AI-Driven Mental Health Support (Preprint)
BACKGROUND
Mental health has become one of the most urgent global health issues of the twenty-first century. The World Health Organization (WHO) reports tha...
The Neural Mechanisms of Private Speech in Second Language Learners’ Oral Production: An fNIRS Study
The Neural Mechanisms of Private Speech in Second Language Learners’ Oral Production: An fNIRS Study
Background: According to Vygotsky’s sociocultural theory, private speech functions both as a tool for thought regulation and as a transitional form between outer and inner speech. ...
Language Alternation in Multilingual Societies: Analyzing Bi/Multilingual Conversation
Language Alternation in Multilingual Societies: Analyzing Bi/Multilingual Conversation
The research examines the relationship between language choice and alternation in bilingual/multilingual conversations within a multicultural/multilingual context. It builds on the...
Speech, communication, and neuroimaging in Parkinson's disease : characterisation and intervention outcomes
Speech, communication, and neuroimaging in Parkinson's disease : characterisation and intervention outcomes
<p dir="ltr">Most individuals with Parkinson's disease (PD) experience changes in speech, voice or communication. Speech changes often manifest as hypokinetic dysarthria, a m...
Speech, communication, and neuroimaging in Parkinson's disease : characterisation and intervention outcomes
Speech, communication, and neuroimaging in Parkinson's disease : characterisation and intervention outcomes
<p dir="ltr">Most individuals with Parkinson's disease (PD) experience changes in speech, voice or communication. Speech changes often manifest as hypokinetic dysarthria, a m...
Speech, communication, and neuroimaging in Parkinson's disease : Characterisation and intervention outcomes
Speech, communication, and neuroimaging in Parkinson's disease : Characterisation and intervention outcomes
<p dir="ltr">Most individuals with Parkinson's disease (PD) experience changes in speech, voice or communication. Speech changes often manifest as hypokinetic dysarthria, a m...
Machine Learning for Non-Intrusive Speech Quality Assessment
Machine Learning for Non-Intrusive Speech Quality Assessment
<p><b>This thesis presents two studies on non-intrusive speech quality assessment methods. The first applies supervised learning methods to speech quality assessment, w...
Multilingual communication in Speech Language Therapy
Multilingual communication in Speech Language Therapy
Multilingualism can both enrich and complicate interactions in health care. Several studies (Ferguson, 2002; Jacobs, 2017) point out that language differences between care provider...

