Safety of automotive systems using Machine Learning

Sécurité fonctionnelle des modèles d'apprentissage machine dans le contexte automobile Les réseaux de neurones profonds sont impliqués dans le processus de prise de décision des voitures autonomes où des vies sont en jeu quand bien même ces réseaux ne sont pas toujours fiables. Dans cette thèse, nous proposons d'améliorer la sûreté des réseaux de neurones en utilisant des réseaux d'observateurs, dit ObsNet, pour détecter les comportements anormaux d'un réseau de neurones cible. Les voitures autonomes utilisent des modèles de Deep Learning pour construire une représentation de leurs environnements, c'est-à-dire où sont les piétons, vers où se dirige la moto, ou encore, quelle est la couleur du feu de signalisation. Les réseaux de neurones profonds sont le résultat d'un schéma d'apprentissage sophistiqué, d'une architecture de modèle complexe et de la construction d'un jeu de données à la fois abondantes et variées. Ainsi, les prédictions des réseaux de neurones s'avèrent parfois difficiles à interpréter et peu fiables.Pour résoudre ce problème, nous introduisons une architecture mettant en oeuvre réseau neuronal supplémentaire, appelé ObsNet, un modèle dédié à la détection rapide et précise des anomalies dans la segmentation des scènes de route. Ce réseau auxiliaire observe les activations internes d'un réseau cible afin de déclencher une alerte lorsqu'il rencontre une prédiction non fiable. Nous entraînons le réseau observateur sur les erreurs d'un réseau cible gelé, laissant ses performances prédictives inchangées pour la tâche primaire de la segmentation d'images.Pour notre première contribution, nous utilisons les prédictions d'un oracle pour superviser l'entraînement du réseau auxiliaire. L'ObsNet apprend à prédire une incertitude basée sur la divergence de prédiction entre le réseau cible et l'oracle. Notre méthode met en évidence une forte détection des erreurs pour les images corrompues par des artefacts comme l'éblouissement du soleil ou la pluie. Pour notre deuxième contribution, nous utilisons des attaques adverses locales pour aider à stabiliser l'apprentissage lorsque peu de données significatives peuvent être fournies à l'observateur. Nous montrons que l'ObsNet résultant réussit à détecter les objets en dehors de la distribution pour la segmentation sémantique. Nous obtenons des résultats compétitifs pour la détection d'objets hors distribution, tout en limitant le temps d'exécution total.Dans notre troisième contribution, nous ciblons la détection d'anomalies pour la segmentation d'instances. Nous récupérons des masques d'instance pour agréger et filtrer les prédictions d'erreur par pixel afin d'améliorer la localisation et la segmentation de l'objet d'intérêt. Notre méthode permet de segmenter de façon homogène les instances et de supprimer le bruit en arrière-plan comparé aux autres méthodes.Enfin, nous intégrons un ObsNet à une LearningCar pour construire, à travers ce démonstrateur, une application de nos résultats de notre recherche. Nous montrons comment intégrer un réseau observateur et un réseau de segmentation dans un système embarqué en temps réel avec des ressources limitées.