Contributions to Safe Reinforcement Learning and Degradation Tolerant Control Design

Contributions à l'apprentissage par renforcement de commande sûre de fonctionnement et synthèse de commande tolérante aux dégradations Les systèmes dynamiques critiques pour la sécurité sont essentiels dans divers secteurs, tels que l'aérospatiale, les systèmes autonomes et les robots en santé, où des défaillances peuvent avoir des conséquences catastrophiques. Un défi majeur est la prise en compte de la dégradation des composants et des actionneurs, compromettant la sécurité et la stabilité des systèmes. Il est donc crucial d'intégrer l'état de santé du système dans la conception de la commande pour assurer une tolérance à la dégradation fonctionnelle. Ces systèmes impliquent souvent des incertitudes et des connaissances incomplètes, nécessitant des approches d'apprentissage pour assimiler les données disponibles. L'apprentissage par renforcement (RL) est une approche puissante capable de synthétiser des lois de commande optimales pour des systèmes dynamiques partiellement ou totalement inconnus. Cependant, le développement de ces approches présente des défis : la phase d'exploration nécessaire à l'apprentissage peut entraîner le système dans des régions non sûres, accélérant la dégradation des composants ; en outre, des garanties de sécurité pendant la phase opérationnelle sont cruciales pour assurer la sécurité continue du système. Le paradigme de l'apprentissage par renforcement sûr (Safe RL) vise à développer des approches RL prioritaires aux garanties de sécurité, ainsi qu'à la stabilité et l'optimalité des systèmes. Cette thèse aborde ces défis en synthétisant de nouvelles stratégies d'apprentissage de commande adaptatives aux incertitudes et à la dégradation fonctionnelle. Les contributions principales incluent :• garantir l'optimalité, la sécurité et la stabilité de la loi de commande pendant les phases d'exploration et d'exploitation du RL. En intégrant les fonctions de barrière de commande (CBFs) et les fonctions de Lyapunov de commande (CLFs) dans le cadre du RL, l'exploration sécurisée et l'exploitation stable sont assurées pour les problèmes de régulation et de suivi de trajectoire. Les CBFs définissent des régions de fonctionnement sûres, tandis que les CLFs assurent la stabilité du système. Ces fonctions guident le processus d'apprentissage, garantissant le respect des contraintes de sécurité et de stabilité;• ralentir la vitesse de dégradation en intégrant les taux de dégradation dans la conception de la commande, utilisant initialement une approche de contrôle optimal en temps discret pour les systèmes linéaires. Cela garantit que les actions de contrôle minimisent la dégradation des composants, prolongeant leur durée de vie. Pour les systèmes non linéaires, des méthodes RL sont utilisées pour résoudre le problème en temps discret et continu, fournissant des solutions adaptables aux dynamiques complexes;• proposer un nouvel algorithme de RL cyclique pour garantir la stabilité du système en cas de dégradation des actionneurs. Cet algorithme met à jour dynamiquement la loi de commande apprise, assurant une adaptation adéquate à mesure que les composants se dégradent. La nature cyclique de l'algorithme permet une réévaluation et un ajustement des lois de commande, garantissant une performance optimale continue malgré la dégradation. Ces approches ont été mises en œuvre à travers des simulations, démontrant leur efficacité dans des applications académiques.