Informations générales
Entité de rattachement
Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.
Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un socle de recherche fondamentale. Le CEA s'engage depuis plus de 75 ans au service de la souveraineté scientifique, technologique et industrielle de la France et de l'Europe pour un présent et un avenir mieux maîtrisés et plus sûrs.
Implanté au cœur des territoires équipés de très grandes infrastructures de recherche, le CEA dispose d'un large éventail de partenaires académiques et industriels en France, en Europe et à l'international.
Les 20 000 collaboratrices et collaborateurs du CEA partagent trois valeurs fondamentales :
• La conscience des responsabilités
• La coopération
• La curiosité
Référence
SL-DRT-25-0560
Direction
DRT
Description du sujet de thèse
Domaine
Défis technologiques
Sujets de thèse
Optimisations matérielles pour une IA générative efficace avec les réseaux Mamba
Contrat
Thèse
Description de l'offre
L'IA générative a le potentiel de transformer diverses industries. Cependant, les modèles actuels de pointe comme les transformers rencontrent des défis significatifs en termes d'efficacité computationnelle et de mémoire, notamment lorsqu'ils sont déployés sur des matériels à ressources limitées. Cette recherche de doctorat vise à résoudre ces problèmes en optimisant les réseaux Mamba pour des applications matérielles. Les réseaux Mamba offrent une alternative prometteuse en réduisant la complexité quadratique des mécanismes d'attention par des choix architecturaux innovants. En utilisant des techniques comme les motifs d'attention éparses et le partage efficace des paramètres, les réseaux Mamba peuvent générer des données de haute qualité avec des besoins en ressources beaucoup plus faibles. La recherche se concentrera sur la mise en œuvre d'optimisations matérielles pour améliorer l'efficacité des réseaux Mamba, les rendant adaptés aux applications en temps réel et aux dispositifs embarqués. Cela inclut l'optimisation des temps de formation et d'inférence, ainsi que l'exploration des accélérations matérielles potentielles. L'objectif est d'avancer le déploiement pratique de l'IA générative dans des domaines à ressources limitées, contribuant ainsi à son adoption plus large et à son impact.
Université / école doctorale
Ingénierie pour la Santé, la Cognition et l’Environnement (EDISCE)
Université Grenoble Alpes
Localisation du sujet de thèse
Site
Grenoble
Critères candidat
Formation recommandée
Master's degree in Computer Science. Strong knowledge in neural networks and algorithms. Optional knowledge in embedded programming. Excellent analytical and experimental skills will be highly valued.
Demandeur
Disponibilité du poste
01/10/2025
Personne à contacter par le candidat
MESQUIDA Thomas
thomas.mesquida@cea.fr
CEA
DRT/DSCIN/LSTA
Tuteur / Responsable de thèse
REYBOZ Marina
marina.reyboz@cea.fr
CEA
DRT/DSCIN/DSCIN/LIIM
CEA-List
Centre de Grenoble
17 rue des Martyrs
Grenoble Cedex 9, 38054
(+33) 4 38 78 27 68
En savoir plus