Scheduler guided OpenMP execution in cloud VMs

Exécution OpenMP guidée par le ordonnanceur dans les machines virtuelles cloud OpenMP est un cadre largement utilisé pour paralléliser les applications, permettant le parallélisme au niveau des threads via de simples annotations dans le code source. Il suit le modèle fork-join et s'appuie fortement sur la synchronisation par barrières entre les threads de travail. L'exécution d'applications compatibles OpenMP dans le cloud est de plus en plus répandue grâce à l'élasticité, aux démarrages rapides et à la tarification à l'usage. Dans ce contexte, la synchronisation par barrières, dont l'efficacité dépend de décisions d'ordonnancement prises en temps opportun, est vulnérable au double ordonnancement et demeure peu étudiée. Dans une exécution sur le cloud, les threads de travail s'exécutent à l'intérieur d'une machine virtuelle (VM) et subissent deux niveaux d'ordonnancement : les threads sont placés sur des processeurs virtuels invités (vCPU), et ces vCPU s'exécutent comme des tâches ordinaires sur les processeurs physiques de l'hôte (pCPU). L'ordonnanceur invité place les threads sur les vCPU, tandis que l'ordonnanceur de l'hôte place les vCPU sur les pCPU. Agissant indépendamment, ces ordonnanceurs créent un écart sémantique susceptible de dégrader les performances des applications. Cette thèse introduit la notion de vCPU fantômes pour désigner des préemptions problématiques au niveau de l'hôte, où des vCPU invités restent en file d'attente sur des pCPU occupés, bloquant la progression. Nous montrons que les performances peuvent être sensiblement améliorées en (1) adaptant dynamiquement le degré de parallélisation (DoP) au début de chaque région parallèle et (2) choisissant dynamiquement entre l'attente active (spinning)et le blocage aux barrières, par thread et par barrière. Nous proposons des techniques paravirtualisées, informées par l'ordonnancement, qui guident avec précision ces décisions et en démontrons l'efficacité dans des déploiements réalistes. Les principales contributions de cette thèse sont résumées ci-dessous : 1. Une analyse inédite de l'influence de l'écart sémantique sur les applications OpenMP, rendue possible par notre outil interne de traçage et de visualisation de l'ordonnancement hôte-invité, dispel_tracer. 2. Phantom Tracker, une solution algorithmique s'appuyant sur un ordonnancement paravirtualisé pour détecter et quantifier avec précision les vCPU fantômes. 3. pv-Barrier-Sync, un mécanisme de synchronisation par barrière dynamique piloté par les informations d'ordonnancement fournies par Phantom Tracker. 4. Juunansei, une extension de l'environnement d'exécution OpenMP qui illustre l'utilité pratique de Phantom Tracker et pv-Barrier-Sync. 5. Une évaluation détaillée de Juunansei à l'aide de la suite de micro-benchmarks OpenMPEPCC et de charges représentatives de la suite NAS Parallel Benchmarks (NPB).