AI and HPC Convergence for Enhanced Anomaly Detection

Convergence IA et HPC pour des techniques de détection d’anomalies La détection des anomalies, une branche de l'IA, vise à identifier des instances ou des motifs dans les données qui s'écartent de la norme. Cette capacité est essentielle dans divers secteurs, notamment la finance, où elle aide à identifier la fraude ; la santé, où elle détecte les conditions anormales ; et la maintenance prédictive, où elle anticipe les pannes d'équipement. En cybersécurité, la détection des anomalies permet d'identifier les comportements suspects et aide à prévenir les intrusions en analysant les motifs inhabituels dans le trafic réseau. Les techniques existantes, telles que les méthodes statistiques comme le test de Grubbs, ainsi que les méthodes basées sur le clustering, l'apprentissage automatique et les approches d'apprentissage profond, ont des limitations en termes de précision et d'efficacité, notamment lorsqu'il s'agit de traiter des anomalies complexes ou des environnements dynamiques et de grande dimension. La généralisation de ces méthodes pour détecter des types divers d'anomalies demeure un défi, nécessitant souvent des adaptations ou des combinaisons d'approches pour améliorer les performances. Les techniques d'apprentissage ensembliste telles que le Bagging, le Boosting et le Stacking peuvent également fournir des solutions intéressantes pour la détection des anomalies. Ces méthodes, traditionnellement utilisées pour améliorer la précision des modèles de classification et de régression, fournissent des modèles plus généraux, améliorant ainsi la robustesse, la flexibilité et la généralisabilité des modèles de base. Cependant, elles ne garantissent pas toujours une très bonne précision. De plus, elles nécessitent une puissance de calcul importante pour traiter de grands volumes de données en temps réel, ce qui constitue un facteur crucial pour les plateformes de détection des anomalies en production, notamment dans des environnements comme la cybersécurité, où les attaques évoluent constamment et deviennent de plus en plus sophistiquées. L'objectif de cette thèse est d'améliorer la précision et l'efficacité des techniques de détection des anomalies, en mettant particulièrement l'accent sur le domaine de la cybersécurité. À cette fin, nous nous concentrons sur l'application de l'approche "Unite and Conquer (UC)" aux méthodes d'apprentissage ensembliste. L'approche UC, initialement développée en algèbre linéaire, implique plusieurs méthodes itératives (co-méthodes) collaborant pour résoudre un même problème donné de manière plus efficace que chaque co-méthode individuellement. Cette collaboration, qui consiste à partager les résultats intermédiaires des co-méthodes, permet d'accélérer la convergence de la méthode globale. Appliquée aux techniques d'apprentissage ensembliste, cette stratégie facilite la construction d'un modèle global à partir de plusieurs co-modèles, offrant ainsi une meilleure précision ainsi qu'une meilleure efficacité computationnelle. L'approche collaborative et itérative proposée intègre diverses techniques d'apprentissage automatique et d'apprentissage profond et tire parti du parallélisme UC pour améliorer l'efficacité du traitement. Sa structure itérative améliore la performance grâce à une exécution synchronisée et asynchrone, soutenant à la fois le parallélisme inter-co-méthode et intra-co-méthode avec une granularité grossière. En partageant les résultats entre les co-modèles et en ajustant les entrées pour les itérations successives, notre approche affine continuellement la précision de la détection et accélère la convergence globale. Cette approche renforce la robustesse du système grâce à une tolérance aux pannes et à un équilibrage de charge optimisé, adapté aux systèmes distribués massifs tels que Fugaku.