Protocol emergence with multi-agent reinforcement learning

Émergence de protocoles avec apprentissage par renforcement multi-agents Dans ce travail, nous introduisons une nouvelle technique automatisée de conception de protocoles appelée émergence de protocole. Dans le contexte de l'émergence de protocole, les nœuds du réseau échangent des messages de contrôle pour coordonner la livraison de données à travers le réseau, le tout sans accord préalable sur la signification de ces messages. Cette approche peut être considérée comme une technique combinée de signalisation et d'optimisation de réseau. L'émergence de protocole offre la possibilité de minimiser les surcharges de signalisation, particulièrement adaptée aux scénarios de communication massive de type machine (MMTC), et facilite la création de protocoles personnalisés adaptés à des applications spécifiques. Cette adaptabilité est particulièrement bénéfique dans des environnements relativement stables, tels que des installations industrielles intérieures. Pour commencer, nous présentons les concepts fondamentaux de l'émergence de protocole en introduisant un cadre. Ce cadre décrit des méthodes pour évaluer les performances des protocoles, caractériser les protocoles, coordonner entre les nœuds et interpréter les messages échangés. Nous analysons ce cadre dans le contexte d'un problème d'accès multiple entrelacé. Dans la partie suivante de ce travail, nous évaluons les performances de l'émergence de protocole dans un scénario impliquant une allocation de ressources contiguë. Cette évaluation vise à comprendre les capacités d'apprentissage et les limitations de l'émergence de protocole, démontrant sa robustesse à certains paramètres et abordant les défis liés à la scalabilité des équipements utilisateur (UE), par exemple. La troisième partie de ce travail se concentre sur l'évaluation de l'émergence de protocole sous contraintes de signalisation dans un scénario d'allocation non contiguë avec signalisation intermittente. Ici, nous nous concentrons sur l'élaboration d'une méthode pour contrôler le débit binaire de contrôle utilisé par le protocole. Les résultats soulignent l'impact des coûts de signalisation sur la réduction du débit binaire de contrôle et les effets conséquents sur la coordination et les performances globales. En conclusion, cette thèse délimite le problème de l'émergence de protocole, faisant progresser notre compréhension de l'apprentissage autonome de schémas de signalisation de contrôle efficaces. De plus, elle aborde les défis de la conception de protocoles et trace des directions nouvelles et prometteuses pour la recherche future. Les contributions notables incluent la formulation d'un cadre pour la génération et l'étude de protocoles émergents, une analyse approfondie des capacités et limitations d'apprentissage de telles méthodes, ainsi que des stratégies pour contrôler la charge de signalisation introduite par les protocoles émergents.