Efficient supervised training of shallow and deep temporally-coded spiking neural networks

Apprentissage supervisé efficace pour les réseaux de neurones impulsionnels à codage temporel L'informatique neuromorphique avec les réseaux de neurones impulsionnels (SNNs) constitue une voie prometteuse vers une intelligence artificielle à faible consommation énergétique. L'entraînement de SNNs sur du matériel neuromorphique peut réduire encore davantage les coûts énergétiques élevés liés à l'entraînement. Cependant, cette approche présente d'importants défis algorithmiques en raison des contraintes spécifiques de ce matériel. Il est donc nécessaire de disposer d'algorithmes d'apprentissage efficaces intégrant ces contraintes afin de simplifier leur implémentation. Cette thèse explore l'entraînement supervisé de SNNs pour la classification, à l'aide d'algorithmes tenant compte des contraintes du matériel neuromorphique. Nous nous concentrons sur les réseaux à codage temporel, où chaque neurone émet au plus une seule impulsion par échantillon, en raison de leur efficacité énergétique. Ce choix impose des règles d'apprentissage temporelles qui prennent en compte les temps exacts des impulsions. Nous explorons deux axes complémentaires : (1) l'entraînement de réseaux peu profonds via un apprentissage Hebbien, adapté aux modèles légers pour environnements contraints ; et (2) l'entraînement de réseaux profonds par des adaptations de l'algorithme « Backpropagation » (BP), exploitant davantage de ressources pour des tâches complexes. Nous développons tout d'abord un système semi-supervisé basé sur l'algorithme Hebbien « Spike Timing-Dependent Plasticity » (STDP), avec une couche de classification supervisée placée à la suite d'un extracteur de caractéristiques non supervisé. STDP simplifie l'implémentation matérielle grâce aux propriétés locales de l'apprentissage Hebbien, tout en réduisant le besoin en supervision grâce à l'apprentissage non supervisé de caractéristiques. Nos contributions visent à maximiser la performance de l'apprentissage dans la couche de classification par un entraînement STDP supervisé. Nous introduisons « Stabilized Supervised STDP » (S2-STDP), une règle STDP modulée par l'erreur qui permet un contrôle précis du temps d'impulsion des neurones à l'aide de temps désirés calculés dynamiquement. Pour renforcer les capacités de classification, nous proposons deux architectures reposant sur une compétition intra-classe de type « Winner-Takes-All » (WTA) : « Paired Competing Neurons » (PCN) et « Neuronal Competition Group » (NCG). À architecture comparable, nos méthodes surpassent les travaux existants sur des tâches de classification d'images et montrent que : (1) la modulation par l'erreur et le contrôle précis des temps d'impulsion sont essentiels pour un entraînement STDP supervisé performant ; (2) la WTA intra-classe améliore la convergence de l'apprentissage dans un contexte supervisé ; et (3) la WTA intra-classe augmente les capacités d'apprentissage de la couche de classification. Nous développons ensuite un système entièrement supervisé basé sur une adaptation efficace de BP pour l'apprentissage temporel dans les SNNs. Bien que BP offre des performances de pointe, sa dépendance à des signaux d'erreur globaux complique son implémentation matérielle. Notre dernière contribution aborde un défi clé posé par BP sur du matériel utilisant des réseaux distincts pour la propagation avant et arrière : la nécessité de maintenir les poids de ces deux réseaux symétriques lors de l'entraînement via des transports de poids. Nous proposons « Frozen Backpropagation » (FBP), un algorithme qui réduit le nombre de transports de poids en figeant périodiquement les poids du réseau arrière. Nous introduisons également trois stratégies qui réalisent ces transports en utilisant uniquement une sous-partie des poids. Sur des tâches de classification d'images, nos méthodes améliorent significativement l'efficacité de l'entraînement par BP en conservant des performances quasi-optimales. Elles offrent également des pistes pour la conception de matériel neuromorphique supportant un apprentissage efficace basé sur BP.