Entité de rattachement
Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.
Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un socle de recherche fondamentale. Le CEA s'engage depuis plus de 75 ans au service de la souveraineté scientifique, technologique et industrielle de la France et de l'Europe pour un présent et un avenir mieux maîtrisés et plus sûrs.
Implanté au cœur des territoires équipés de très grandes infrastructures de recherche, le CEA dispose d'un large éventail de partenaires académiques et industriels en France, en Europe et à l'international.
Les 20 000 collaboratrices et collaborateurs du CEA partagent trois valeurs fondamentales :
• La conscience des responsabilités
• La coopération
• La curiosité
Référence
SL-DRT-27-0397
Certification de la non-occurence d'événements dans les grands modèles Vidéo-langage
La fiabilité des modèles d'intelligence artificielle capables d'analyser des vidéos (Video Large Language Models) constitue un enjeu majeur, notamment dans les domaines applicatifs où une mauvaise interprétation des images peut entraîner des décisions inadaptées ou engendrer de la désinformation.
Aujourd'hui, ces modèles ont tendance à confondre ce qui est réellement visible dans une vidéo avec ce qui est simplement probable ou attendu. Ils peuvent ainsi affirmer qu'une action a été réalisée alors que la vidéo ne montre pas sa réalisation effective.
L'objectif principal de la thèse est d’apporter aux modèles les capacités à distinguer trois situations : (1) un événement a bien eu lieu, (2) il n'a pas eu lieu (avec des preuves visuelles suffisantes), ou (3) les informations disponibles ne permettent pas de conclure.
Trois axes de recherche complémentaires seront explorés :
· Le premier consiste à proposer des méthodes permettant d'apprendre aux modèles à identifier les éléments visuels réellement déterminants pour confirmer ou infirmer une action.
· Le deuxième vise à développer des mécanismes de raisonnement capables d'identifier les observations qui devraient nécessairement être visibles si un événement avait eu lieu. Cette démarche permettra de produire des « certificats de non-occurrence », c'est-à-dire des justifications structurées reposant sur des preuves visuelles permettant de conclure qu'un événement ne s'est pas produit.
· Le troisième axe étudiera si l'utilisation de ces certificats comme supervision supplémentaire permet d'améliorer les performances des modèles avec moins de données d'entraînement.
Les approches développées seront évaluées en termes de précision, de robustesse face aux situations ambiguës, et de frugalité en données. À terme, cette recherche vise à développer des modèles vidéo plus fiables, capables de justifier leurs conclusions plutôt que de simplement prédire ce qui semble probable.
Sciences et Technologies de l’Information et de la Communication (STIC)
Paris-Saclay
KARA Sandra sandra.kara@cea.fr
CEA
DRT/DIASI//LASTI
CEA SACLAY - NANO INNOV
BAT. 861
Point courier 173
91191 GIF SUR YVETTE
PHAM Quoc-Cuong Quoc-Cuong.PHAM@cea.fr
CEA
DRT/DIASI
CEA SACLAY - NANO INNOV
BAT. 861
Point courier 173
91191 GIF SUR YVETTE
01 69 08 27 16