Dans le contexte actuel de régulation de l'Intelligence Artificielle, plusieurs recommandations ont été proposées pour renforcer la 'cyber-sécurité de l'IA' et plus particulièrement pour améliorer la sécurité des systèmes basés sur l'IA et pas uniquement les 'modèles'. Cette sécurité au niveau 'système' est primordiale alors que nous connaissons un déploiement des modèles à très large échelle sur une grande variété de plateformes logicielles et matérielles. Néanmoins, considérer la sécurité du cycle de vie d'un système d'IA est beaucoup plus complexe que dans le cadre classique mais limité du 'ML pipeline' traditionnel composé d'une phase statique d'apprentissage puis d'inférence.

Dans ce contexte, la communauté de la sécurité de l'IA doit se concentrer sur des opérations critiques mais trop faiblement étudiées qui sont de réels 'angles morts' (blind spots) de sécurité. Cet objectif repose sur une modélisation fine de l'ensemble des composants et processus d'un système d'IA, par exemple avec un modèle de type MLOps (Machine Learning Operations) qui permet de définir et caractériser les différentes étapes, modules et interactions d'un système d'IA, notamment sa dynamique avec les mises à jour régulières des données et des modèles.

La thèse pourra se concentrer sur deux angles morts : le déploiement de modèles et la dynamique du 'Continuous Training'. Des travaux récents ont démontré des problèmes de sécurité critiques liés à des attaques backdoor de modèle (empoisonnement) après l'apprentissage par le remplacement de sous réseau d'un réseau de neurones profond. D'autres travaux ont montré que les phases de compression de modèles (quantification, pruning) pouvaient aussi être utilisées pour empoisonner un modèle. Enfin, la dynamique des systèmes d'IA avec la mise à jour régulière des données d'apprentissage et des modèles soulève de nombreuses questions quant à de possibles régressions de leur sécurité et la robustesse des modèles lors d'ajout de données ou d'opérations de 'fine-tuning'.

Les objectifs de la thèse seront:
1. modéliser la sécurité de systèmes modernes d'IA en utilisant un Framework MLOps et proposer des modèles de menaces et des analyses de risques pour des opérations critiques comme le déploiement de modèle et le Continuous Training.
2. démontrer et caractériser des attaques comme celles visant des méthodes d'optimisation de modèles, du fine tuning...
3. proposer et développer des protections ainsi que des protocoles d'évaluation robustes.