Dans un contexte de régulation de l'IA à l'échelle européenne, plusieurs exigences ont été proposées pour renforcer la sécurité des systèmes complexes d'IA modernes. En effet, nous assistons à un développement impressionnant de grands modèles (dits modèles de 'Fondation') qui sont déployés à grande échelle pour être adaptés à des tâches spécifiques sur une large variété de plateformes. Aujourd'hui, les modèles sont optimisés pour être déployés et même adaptés sur des plateformes contraintes (mémoire, énergie, latence) comme des smartphones et de nombreux objets connectés (maison, santé, IoT industriel, ...).
Cependant, la prise en compte de la sécurité de tels systèmes d'IA est un processus complexe avec de multiples vecteurs d'attaque contre leur intégrité (tromper les prédictions), leur disponibilité (dégrader les performances, ajouter de la latence) et leur confidentialité (rétro-ingénierie, fuite de données privées).
Au cours de la dernière décennie, les communautés de l'Adversarial Machine Learning et du Privacy-Preserving Machine Learning ont franchi des étapes importantes en caractérisant de nombreuses attaques et en proposant des schémas de défense. Les attaques sont essentiellement centrées sur les phases d'entraînement et d'inférence, mais de nouvelles menaces apparaissent, liées à l'utilisation de modèles pré-entraînés, leur déploiement non sécurisé ainsi que leur adaptation (fine-tuning).
Des problèmes de sécurité supplémentaires concernent aussi le fait que les étapes de déploiement et d'adaptation peuvent être des processus 'embarqués' (on-device), par exemple avec l'apprentissage fédéré inter-appareils (cross device Federated Learning). Dans ce contexte, les modèles sont compressés et optimisés avec des techniques de l'état de l'art (par exemple, la quantification, le pruning ou Low Rank Adaptation - LoRA) dont l'influence sur la sécurité doit être évaluée.
La thèse se propose de (1) définir des modèles de menaces propres au déploiement et à l'adaptation de modèles de fondation embarqués (e.g., sur microcontrôleurs avec accélérateur HW, SoC); (2) démontrer et caractériser des attaques avec un intérêt particulier pour les attaques par empoisonnement de modèles; (3) proposer et développer des protections et des protocoles d'évaluation.