Informations générales
Entité de rattachement
Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.
Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un socle de recherche fondamentale. Le CEA s'engage depuis plus de 75 ans au service de la souveraineté scientifique, technologique et industrielle de la France et de l'Europe pour un présent et un avenir mieux maîtrisés et plus sûrs.
Implanté au cœur des territoires équipés de très grandes infrastructures de recherche, le CEA dispose d'un large éventail de partenaires académiques et industriels en France, en Europe et à l'international.
Les 20 000 collaboratrices et collaborateurs du CEA partagent trois valeurs fondamentales :
• La conscience des responsabilités
• La coopération
• La curiosité
Référence
SL-DRT-24-0606
Direction
DRT
Description du sujet de thèse
Domaine
Défis technologiques
Sujets de thèse
Quantification basse précision de réseau de neurones attentionnel pour l’embarqué
Contrat
Thèse
Description de l'offre
Embarquer l'intelligence artificielle (IA) représente un défi de taille. L'IA s'est en effet développée ces dernières années à grands coups de réseaux de neurones géants et de traitements de données massives. Aujourd’hui l’enjeu est d’adapter ces méthodes dans de petits composants embarqués au plus près des solutions industrielles. La question de recherche du sujet est celle de la frugalité des réseaux de neurones afin de pouvoir les porter sur l’embarqué. Cela implique de repenser les modèles afin qu’ils soient nettement plus compacts et efficaces, avec l’utilisation de topologies adaptées, de méthodes de compressions mais également de coder l’information de manière adapté pour l’inférence sur cibles embarquées.
Plus précisément, le candidat s'intéressera aux réseaux de neurones basé sur le mécanisme d’attention comme les réseaux Transformer. Il sera amené à proposer de nouvelles méthodes de compression adaptés à ces modèles de réseaux de neurones, basés par exemple sur de la quantification ou de la distillation. Le candidat portera l'attention sur la compatibilité des méthodes qu'il propose pour rendre les réseaux embarquable sur une cible matérielle. Dans cette idée, il proposera des codages de l'information adaptés aux cibles matérielles.
Université / école doctorale
Ecole Doctorale Informatique et Mathématiques (InfoMaths)
INSA Lyon
Localisation du sujet de thèse
Site
Saclay
Critères candidat
Formation recommandée
Master ou diplôme d'ingénieur en informatique/électronique.
Demandeur
Disponibilité du poste
01/03/2024
Personne à contacter par le candidat
MOINEAU Cyril cyril.moineau@cea.fr
CEA
DRT/DSCIN/DSCIN/LIAE
Institut Carnot CEA List - CEA Saclay - Nano-INNOV
Bat 862 - PC 172 F-91191 Gif-Sur-Yvette Cedex
01 69 08 00 69
Tuteur / Responsable de thèse
De DINECHIN Florent Florent.de-Dinechin@insa-lyon.fr
INSA Lyon
CITI Lab
CITI Laboratory
6 Av. des Arts 1st floor, 69100 Villeurbanne
+33 4 72 43 74 30
En savoir plus