Adversarial Challenges and Defenses in ML-driven Cybersecurity Systems

Défis adverses et défenses dans les systèmes de cybersécurité basés sur l'apprentissage automatique L’apprentissage automatique (ML) est devenu un pilier de la cybersécurité moderne, permettant la détection automatique de menaces complexes et évolutives dans de nombreux domaines tels que l’analyse des logiciels malveillants, le phishing et la sécurité de la chaîne d’approvisionnement logicielle. Cependant, contrairement aux applications traditionnelles, les défenses basées sur le ML en cybersécurité opèrent dans des environnements intrinsèquement conflictuels, où les attaquants s’adaptent en permanence pour échapper à la détection. Cette tension met en évidence les faiblesses fondamentales des systèmes actuels basés sur le ML, qui fonctionnent souvent bien dans des conditions standard, mais échouent face à des adversaires adaptatifs. Cette thèse explore les limites et le potentiel du ML en cybersécurité conflictuelle à travers une étude systématique de la robustesse, de l’adaptabilité et de la fiabilité dans plusieurs domaines clés, notamment la détection des pages web de phishing, la détection des logiciels malveillants sous macOS et la sécurité de la chaîne d’approvisionnement logicielle. Nous identifions cinq défis majeurs: (i) la robustesse fragile des détecteurs face à des manipulations conflictuelles réalistes; (ii) la compréhension limitée de l’apprentissage automatique antagoniste (AT) dans des contextes de sécurité pratiques; (iii) le manque d’adaptabilité face aux différents niveaux de tolérance aux faux positifs et aux priorités de détection des parties prenantes; (iv) le rôle flou des fonctionnalités spécifiques au domaine dans la généralisation et la résilience à long terme face à l’évolution des menaces; et (v) le manque de fiabilité des indicateurs de confiance et de réputation à l’échelle de l’écosystème, qui peuvent être facilement manipulés pour masquer des échantillons malveillants comme légitimes. Pour relever ces défis, cette thèse présente des cadres de conception d’attaques réalistes et préservant les fonctionnalités, révélant les faiblesses cachées des détecteurs basés sur l’apprentissage automatique pour les pages web de phishing et les packages malveillants; étudie comment les technologies d’assistance et les configurations adaptatives peuvent concilier robustesse et contraintes opérationnelles dans la sécurité de la chaîne d’approvisionnement logicielle; démontre l’importance de la connaissance du domaine et des fonctionnalités sur mesure pour une détection efficace des logiciels malveillants sous macOS; et souligne la fragilité des mécanismes de confiance basés sur la réputation dans les écosystèmes open source. Dans l’ensemble, cette thèse met en lumière les opportunités et les pièges de l’application de l’apprentissage automatique à la cybersécurité. En exposant les faiblesses et en proposant des méthodologies améliorées de détection des adversaires, il contribue à construire des défenses plus robustes et plus fiables contre les menaces adverses en constante évolution.