Evaluation of probabilistic classifiers and impact on decision-making

Évaluation de classifieurs probabilistes et impact sur la décision De nombreux scénarios du monde réel nécessitent la prédiction de la probabilité d'un événement, tels que la détection de fraude et la gestion du risque en finance et assurance, le diagnostic ou l'efficacité des traitements en santé, et la prévention des catastrophes dans les prévisions météorologiques. La probabilité est un moyen de quantifier l'incertitude dans les prédictions, permettant ainsi une prise de décision mieux informée où les coûts et les probabilités peuvent être équilibrés. Les prédictions probabilistes permettent une séparation des préoccupations entre l'émetteur de la prédiction et l'utilisateur. Cependant, les prédictions probabilistes nécessitent des outils d'évaluation différents de ceux utilisés pour les prédictions de classe. La calibration et les règles de score, telles que le score de Brier, sont des concepts bien connus pour évaluer les estimations de probabilité. Dans cette thèse, nous explorons un autre aspect de l'évaluation des prédictions probabilistes, connu sous le nom de perte de groupement. Complémentaire à la calibration, la perte de groupement est l'élément manquant pour caractériser pleinement les erreurs dans les estimations de probabilité d'un prédicteur.Ce manuscrit introduit un estimateur de la perte de groupement, démontrant sa pertinence à travers des tâches en vision par ordinateur et en traitement du langage. Cet estimateur de la perte de groupement est ensuite appliqué dans des contextes de prise de décision afin d'évaluer l'impact de la mauvaise calibration et de la perte de groupement sur la valeur opérationnelle des classifieurs probabilistes. En explorant la faisabilité de la recalibration et des procédures avancées de post-entraînement, la thèse offre des perspectives sur l'opportunité d'améliorer les modèles ou de collecter des données supplémentaires, en particulier compte tenu de la tendance actuelle à utiliser de grands modèles pré-entraînés pour diverses tâches. De plus, la thèse examine l'estimation de la confiance dans les grands modèles de langage. Elle aborde également le problème de la prédiction avec des valeurs manquantes, ce qui amène naturellement des considérations de calibration et de perte de groupement dans les prédictions probabilistes. Enfin, la thèse étend le réseau de neurones NeuMiss à la classification et discute de son utilisation dans la prédiction probabiliste.