Conception d’une caméra intelligente multi-vues à base de FPGA

Les systèmes de vision font partie intégrante de notre société et continuent d’alimenter de nombreux axes de recherche et développement. Les systèmes multi-vues permettent d’étendre le champ des applications de vision par leur capacité à capturer une scène sous différents angles de vue. La vision stéréoscopique et la reconstruction 3D ou panoramique sont des exemples concrets d’applications multi-vues et sont déjà massivement employés dans l’industrie ou auprès du grand public. Par exemple, certaines productions cinématographiques utilisent des effets spéciaux à partir de dizaines de caméras synchronisées. Ou encore les satellites d’observation privilégient des matrices de caméras pour créer des images en haute-résolution. Cette versatilité, la diversité ou la redondance d’informations visuelles sont exploitables dans de nombreux domaines et en particuliers pour l’intelligence artificielle appliquée à la vision. Les dernières recherches ont démontré que les algorithmes de vision classiques sont devenus obsolètes face aux réseaux de convolutions (CNNs). Cependant, les CNNs restent extrêmement coûteux en calculs et complexes à mettre en œuvre sur des électroniques basse consommation. En théorie, les circuits reprogrammables (FPGA) possèdent un potentiel significatif pour inférer un réseau de convolutions au plus près d’un capteur d’image avec un modèle de calcul orienté flots de données, garantissant à la fois une consommation électrique limitée et une grande vitesse d’exécution. En pratique, ils restent limités par leur faible densité d’éléments logiques et par d’autres facteurs inhérents à cette technologie. Par conséquent, un FPGA ne peut supporter à lui seul qu’une faible partie d’un réseau. Dans cette thèse, nous proposons une architecture matérielle multi-vues pour augmenter le facteur d’intégration d’un réseau sur ce type de cible matérielle. En effet, même dans sa forme la plus simple,une architecture de réseau de convolutions multi-vues possède une meilleure capacité de reconnaissance que sa contrepartie mono-vue. Ce principe fondamental pose la question de l’équilibre entre les facteurs quantitatif et qualitatif d’un réseau, c’est-à-dire, la densité de paramètres définissant la complexité d’un CNN et son niveau de performance en termes de reconnaissance. Ce travail démontre de manière expérimentale que la nature multi-vues permet d’abaisser la quantité de paramètres d’un réseau et par conséquent, sa complexité. Un prototype de caméra embarquée est proposée pour tester cette hypothèse dans un contexte réaliste. Celle-ci est scindée en deux parties. La première est composée de plusieurs têtes de caméras reprogrammables capables d’inférer une partie d’un CNN en supportant le débit d’un capteur d’image. Celles-ci sont pilotées et alimentées par la seconde partie composée d’un FPGA central qui agrège les flots de données issues de chaque capteur et exécuter la suite du réseau de neurones. Entre autres, cette caméra peut synchroniser ou ajouter des délais pour chaque prise de vue avec une base de temps de l’ordre de la dizaine de nanosecondes.