Pause
Lecture
Moteur de recherche d'offres d'emploi CEA

Quantification basse précision de réseau de neurones attentionnel pour l’embarqué


Détail de l'offre

Informations générales

Entité de rattachement

Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.

Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un socle de recherche fondamentale. Le CEA s'engage depuis plus de 75 ans au service de la souveraineté scientifique, technologique et industrielle de la France et de l'Europe pour un présent et un avenir mieux maîtrisés et plus sûrs.

Implanté au cœur des territoires équipés de très grandes infrastructures de recherche, le CEA dispose d'un large éventail de partenaires académiques et industriels en France, en Europe et à l'international.

Les 20 000 collaboratrices et collaborateurs du CEA partagent trois valeurs fondamentales :

• La conscience des responsabilités
• La coopération
• La curiosité
  

Référence

SL-DRT-24-0606  

Direction

DRT

Description du sujet de thèse

Domaine

Défis technologiques

Sujets de thèse

Quantification basse précision de réseau de neurones attentionnel pour l’embarqué

Contrat

Thèse

Description de l'offre

Embarquer l'intelligence artificielle (IA) représente un défi de taille. L'IA s'est en effet développée ces dernières années à grands coups de réseaux de neurones géants et de traitements de données massives. Aujourd’hui l’enjeu est d’adapter ces méthodes dans de petits composants embarqués au plus près des solutions industrielles. La question de recherche du sujet est celle de la frugalité des réseaux de neurones afin de pouvoir les porter sur l’embarqué. Cela implique de repenser les modèles afin qu’ils soient nettement plus compacts et efficaces, avec l’utilisation de topologies adaptées, de méthodes de compressions mais également de coder l’information de manière adapté pour l’inférence sur cibles embarquées.
Plus précisément, le candidat s'intéressera aux réseaux de neurones basé sur le mécanisme d’attention comme les réseaux Transformer. Il sera amené à proposer de nouvelles méthodes de compression adaptés à ces modèles de réseaux de neurones, basés par exemple sur de la quantification ou de la distillation. Le candidat portera l'attention sur la compatibilité des méthodes qu'il propose pour rendre les réseaux embarquable sur une cible matérielle. Dans cette idée, il proposera des codages de l'information adaptés aux cibles matérielles.

Université / école doctorale

Ecole Doctorale Informatique et Mathématiques (InfoMaths)
INSA Lyon

Localisation du sujet de thèse

Site

Saclay

Critères candidat

Formation recommandée

Master ou diplôme d'ingénieur en informatique/électronique.

Demandeur

Disponibilité du poste

01/03/2024

Personne à contacter par le candidat

MOINEAU Cyril cyril.moineau@cea.fr
CEA
DRT/DSCIN/DSCIN/LIAE
Institut Carnot CEA List - CEA Saclay - Nano-INNOV
Bat 862 - PC 172 F-91191 Gif-Sur-Yvette Cedex

01 69 08 00 69

Tuteur / Responsable de thèse

De DINECHIN Florent Florent.de-Dinechin@insa-lyon.fr
INSA Lyon
CITI Lab
CITI Laboratory
6 Av. des Arts 1st floor, 69100 Villeurbanne
+33 4 72 43 74 30

En savoir plus