Dans un contexte global d’automatisation de tâches, les réseaux de neurones artificiels sont actuellement utilisés dans de nombreux domaines nécessitant le traitement de données issu de capteurs : visions, sonores, vibrations.
Suivant différentes contraintes, le traitement de l’information peut être réalisé sur le Cloud (SIRI, AWS, TPU) ou de manière embarquée (plateforme Jetson de NVidia, Movidius, PNeuro/DNeuro du CEA-LIST). Dans ce second cas, de nombreuses contraintes matérielles doivent être prises en compte lors du dimensionnement de l’algorithme. Pour améliorer le portage sur plateforme matérielle, le LIST a développé des méthodes innovantes de l’état de l’art mondial permettant d’améliorer l’efficacité énergétique de ces plateformes.
L’efficacité énergétique des architectures Neuromorphique à technologie équivalente est contrainte par paradigme classique de la flexibilité vs l’efficacité. Autrement dit plus une architecture est capable d’effectuer des tâches (des réseaux) différentes, moins elles sont énergétiquement efficaces. Si cette relation ne peut être contournée pour une grande variété d’algorithmes, les réseaux de neurones sont des fonctions paramétriques, apprises pour une et donc potentiellement adaptables à d’autres tâches par une modification partielle de la topologie et/ou des paramètres.
Une technique,CLIP semble apporter une réponse, avec une forte capacité d'adaptation à des tâches variées et une possibilité d’utilisation de la multimodalité. Dans sa forme originelle cette méthode est présentée comme une méthode de mise en relation un texte et une image pour créer une tâche de classification.
L’objectif de la thèse est d’étudier le portage matériel de CLIP en proposant une architecture dédiée. La thèse s’organise en 3 temps forts, avec dans un premier temps une étude sur les mécanismes de CLIP, les opérations à effectuer, les conséquences sur les réseaux d’embedding. Dans le deuxième temps, les optimisations matérielles applicables à CLIP, telles que la quantification (ou autres) et une estimation de la flexibilité vs la généralité applicative. Pour finir une proposition architecturale et réalisation permettant une mesure de l’efficacité énergétique.