L'objectif de cette thèse est d'étudier la mise en œuvre de mécanismes attentionnels pour l'intelligence artificielle directement implémentés dans une mémoire non volatile (NVM) basée sur des technologies émergentes.

Les mécanismes attentionnels représentent une avancée importante dans les algorithmes d'Intelligence Artificielle (IA) et sont à l’origine d’un gain en performance significatif des réseaux neuronaux artificiels dits « Transformers ». Bien qu'initialement proposés pour le traitement du langage naturel, ces mécanismes sont aujourd'hui largement utilisés dans de nombreuses applications embarquées tels que la prédiction de la demande dans un réseau d’énergie/de chaleur, la maintenance prédictive, la surveillance d’infrastructures de transport ou de sites industriels, etc.
Cependant, la complexité des algorithmes basés sur l'attention nécessite un accès intensif aux données et une puissance de calcul importante, entraînant une consommation énergétique élevée, ce qui peut être rédhibitoire pour lorsque l’on cible des systèmes matériels intégrés.

La technologie des memristors non volatils permet de réaliser des fonctions de calcul entièrement analogique avec un budget d'énergie très faible tout en réalisant la fonction de stockage non volatil des paramètres des modèles d'IA. Des algorithmes massifs d'algèbre linéaire peuvent être exécutés rapidement à un coût énergétique fortement réduit. Cependant, la technologie présente des limitations sur plusieurs aspects tels que le nombre de bits pour encoder les paramètres du modèle, les dimensions maximales des matrices qui peuvent être traitées en parallèle, etc.

Cette thèse vise à résoudre ces défis dans le contexte de l’analyse et de la prédiction de séries temporelles dans des systèmes embarqués.
La tâche principale consiste à explorer le portage des mécanismes basés sur l'attention sur une technologie de memristor (utilisant le spin) développée par le laboratoire SPINTEC.
Cela implique de quantifier et de partitionner les modèles d'IA pour les aligner sur l'architecture matérielle sans compromettre les performances de la prédiction, et d'explorer la mise en œuvre de blocs de calcul IA spécifique dans la structure analogique des memristors.

Cette thèse s'inscrit dans le cadre d'une collaboration entre le CEA List, Laboratoire d’Intelligence Intégrée Multi-Capteur, Grenoble INP et le Laboratoire SPINTEC. L'étudiant bénéficiera ainsi d'une équipe interdisciplinaire et dynamique au cœur de l'écosystème IA en France, qui entretient des liens étroits avec les acteurs industriels les plus influents dans le domaine.