Automatic recognition and generation of French Cued Speech using deep learning

Reconnaissance et génération automatique de Langue française Parlée Complétée utilisant l'apprentissage profond La Langue française Parlée Complétée (LfPC) est un système visuel conçu pour améliorer la compréhension de la parole chez les personnes malentendantes et profondément sourdes en utilisant des formes de mains placées à des positions particulières sur le côté du visage ou à la base du cou pour rendre les éléments phonétiques plus discriminés visuellement. Cette thèse présente une étude complète sur le développement et la mise en œuvre de systèmes de reconnaissance et de génération de la LfPC en utilisant des méthodes d'apprentissage profond. L'objectif principal de cette recherche est de combler le fossé de communication en introduisant un nouveau cadre qui exploite des modèles d'apprentissage profond spécifiquement adaptés à la nature multimodale de la LfPC. L'étude est divisée en deux axes principaux : la reconnaissance et la génération de la LfPC.Pour la reconnaissance, nous avons développé un système capable de traiter la LfPC de la langue française à partir d'entrées vidéo et de décoder ces indices visuels en représentations de texte correspondantes. Ce système combine des méthodes d'extraction de paramètres de pose pré-entraînées, de réseaux de neurones récurrents (RNN) avec un classifieur temporel connectionniste (CTC) pour analyser les indices manuels et les mouvements des lèvres image par image, assurant ainsi une capture précise de la dynamique des gestes associés à chaque indice phonétique. Les premières expériences utilisant la base de données CSF18 ont mis en évidence le besoin de données de plus grande ampleur, conduisant à la création des bases de données CSF22 et CSLM23, que nous avons enregistrées et que nous rendons public. Ces données ont constitué un fondement solide pour l'entraînement des modèles de reconnaissance et ont significativement amélioré leurs performances. De plus, nous explorons l'extension de la modélisation au décodage au niveau du mot pour mettre en œuvre un système de reconnaissance complet.Au sujet de l'asynchronie inhérente entre les deux articulateurs (main et lèvres) dans la LfPC, nous avons analysé les dynamiques complexes entre eux en intégrant des mécanismes d'attention dans notre architecture de reconnaissance. Cette intégration a permis de mettre à jour les dynamiques temporelles entre les mouvements de la main et des lèvres. En exploitant les cartes d'attention du modèle entraîné sur CSF22, nous avons également développé une méthode de segmentation de la LfPC.En parallèle, la thèse traite de la génération de la LfPC, en synthétisant des gestes visuels à partir d'entrées de niveau texte. Nous avons utilisé des techniques d'apprentissage profond, en commençant par des modèles de type encodeur-décodeur pour ensuite exploiter des architectures plus sophistiquées comme Tacotron et Tacotron 2. Ces modèles, en particulier Tacotron 2 avec son mécanisme d'attention amélioré et son architecture encodeur-décodeur raffinée, ont amélioré l'alignement et le traitement des séquences d'entrée. Des avancées significatives ont été réalisées en utilisant TacotronAV 2, qui a donné les meilleurs résultats en affinant par technique de fine-tuning le décodeur avec des poids d'encodeur gelés pré-entraînés sur de grands ensembles de données audio.Les résultats montrent des avancées significatives en reconnaissance et génération de la LfPC, avec nos modèles atteignant des performances à la pointe et constituant l'état de l'art. Cette recherche non seulement renforce les fondements technologiques des outils de la LfPC, mais elle contribue également au domaine plus large de la communication parlée augmentée et alternative, offrant de nouvelles voies pour améliorer l'accessibilité de la langue parlée pour la communauté des malentendants. Les implications de ce travail vont au-delà de la recherche académique, suggérant des applications pratiques dans les contextes éducatifs, de l'orthophonie et de la communication parlée en temps réel pour les personnes malentendantes.