Designing and evaluating explanation user interfaces for complex Machine Learning systems

Conception et évaluation d’interfaces utilisateur explicatives pour systèmes complexes en apprentissage automatique Cette thèse se place dans le domaine de l’IA eXplicable (XAI) centrée sur l’humain, et plus particulièrement sur l’intelligibilité des explications pour les utilisateurs non-experts. Le contexte technique est le suivant : d’un côté, un classificateur ou un régresseur opaque fournit une prédiction, et une approche XAI post-hoc génère des informations qui agissent comme des explications ; de l’autre côté, l’ utilisateur reçoit à la fois la prédiction et ces explications. Dans ce contexte, plusieurs problèmes peuvent limiter la qualité des explications. Ceux sur lesquels nous nous concentrons sont : le manque d’informations contextuelles dans les explications, le manque d’orientation pour la conception de fonctionnalités pour permettre à l’utilisateur d’explorer et la confusion potentielle qui peut être générée par la quantité d’informations. Nous développons une procédure expérimentale pour concevoir des interfaces utilisateur explicatives et évaluer leur intelligibilité pour les utilisateurs non- experts. Nous étudions des opportunités d’amélioration XAI sur deux types types d’explications locales : l’importance des variables et les exemples contre- factuels. Aussi, nous proposons des principes XAI génériques pour contextualiser et permettre l’exploration sur l’importance des variables; ainsi que pour guider les utilisateurs dans l’analyse comparative des explications contrefactuelles avec plusieurs exemples. Nous proposons une application de ces principes pro- posés dans deux interfaces utilisateur explicatives distinctes, respectivement pour un scénario d’assurance et un scénario financier. Enfin, nous utilisons ces interfaces améliorées pour mener des études utilisateurs en laboratoire et nous mesurons deux dimensions de l’intelligibilité, à savoir la compréhension objective et la satisfaction subjective. Pour l’importance des variables locales, nous montrons que la contextualisation et l’exploration améliorent l’intelligibilité de ces explications. De même, pour les exemples contrefactuels, nous montrons qu’avoir plusieurs exemples plutôt qu’un améliore également l’intelligibilité, et que l’analyse comparative est un outil prometteur pour la satisfaction des utilisateurs. À un niveau fondamental, nous considérons la question théorique des incohérences éventuelles de ces explications. Dans le contexte considéré dans cette thèse, la qualité d’une explication repose à la fois sur la capacité du système d’apprentissage automatique à générer une explication cohérente et sur la capacité de l’utilisateur final à interpréter correctement ces explications. Cependant, il peut y avoir plusieurs limitations: d’un côté, la littérature a rapporté plusieurs limitations techniques de ces systèmes, rendant les explications potentiellement incohérentes ; de l’autre, des études utilisateurs ont montré que les interprétations des utilisateurs ne sont pas toujours exactes, même si des explications cohérentes leur ont été présentées. Nous étudions donc ces incohérences et proposons une ontologie pour structurer les incohérences les plus courantes de la littérature. Cette ontologie constitue un outil pour comprendre les limites actuelles en XAI pour éviter les pièges des explications.