Description du sujet de thèse
Domaine
Défis technologiques
Sujets de thèse
Sécurité des modèles d'IA générative: détection des attaques par porte dérobée de nouvelle génération
Contrat
Thèse
Description de l'offre
Cette thèse vise à étudier et détecter les attaques par porte dérobée au sein des écosystèmes de modèles d'IA générative (modèles autonomes, systèmes de génération augmentée par récupération (RAG) et agents autonomes basés sur des LLM).
Contexte : De nombreux utilisateurs (particuliers, institutions, ONG et même entreprises) ne sont actuellement pas en mesure de développer leurs propres systèmes d'IA générative. Ils s'orientent donc vers le téléchargement d'agents ou de modèles d'IA générative open source, généralement conçus pour être très accessibles et faciles à utiliser, ne nécessitant que peu d'expertise technique. Cette pratique est largement répandue en raison du grand nombre de modèles open source et d'implémentations d'agents LLM disponibles en ligne (par exemple, Hugging Face héberge plus de deux millions de modèles publics). Malheureusement, l'intégrité comportementale du modèle téléchargé n'est jamais vérifiée, et celui-ci peut avoir été préalablement compromis par une porte dérobée. Il existe donc un besoin urgent de mettre en place des mécanismes de défense capables d'analyser les composants d'un système d'IA générative (modèles et bases de connaissances) et d'identifier ceux qui ont été empoisonnés.
Objectifs : La recherche se concentrera sur le développement de mécanismes innovants de détection et de défense contre les attaques furtives basées sur des triggers, en mettant l'accent sur les scénarios de déploiement réels et sur des benchmarks d'évaluation robustes. En plus de développer des mécanismes de défense et de mettre le code à disposition en open source, la thèse vise également à fournir à la communauté scientifique un framework d'évaluation complet.
Université / école doctorale
Sciences et Technologies de l'Information et de la Communication (STIC)
Paris-Saclay
Localisation du sujet de thèse
Site
Saclay
Critères candidat
Formation recommandée
Master 2 IA, Machine Learning ou statistiques
Demandeur
Disponibilité du poste
01/09/2026
Personne à contacter par le candidat
MAYOUE Aurélien < E-Mail aus Sicherheitsgründen gelöscht >
CEA
DRT/DIN/SMCD/LIIDE
CEA Saclay
Bâtiment 565, PC 192
91 191 Gif-sur-Yvette
01 69 08 88 96
Tuteur / Responsable de thèse
MOELLIC Pierre-Alain < E-Mail aus Sicherheitsgründen gelöscht >
CEA
DRT/DSYS//LSES
Centre de Microélectronique de Provence
880 route de Mimet
13120 Gardanne
0442616738
En savoir plus
https://list.cea.fr/fr/
Domaine
Défis technologiques
Sujets de thèse
Sécurité des modèles d'IA générative: détection des attaques par porte dérobée de nouvelle génération
Contrat
Thèse
Description de l'offre
Cette thèse vise à étudier et détecter les attaques par porte dérobée au sein des écosystèmes de modèles d'IA générative (modèles autonomes, systèmes de génération augmentée par récupération (RAG) et agents autonomes basés sur des LLM).
Contexte : De nombreux utilisateurs (particuliers, institutions, ONG et même entreprises) ne sont actuellement pas en mesure de développer leurs propres systèmes d'IA générative. Ils s'orientent donc vers le téléchargement d'agents ou de modèles d'IA générative open source, généralement conçus pour être très accessibles et faciles à utiliser, ne nécessitant que peu d'expertise technique. Cette pratique est largement répandue en raison du grand nombre de modèles open source et d'implémentations d'agents LLM disponibles en ligne (par exemple, Hugging Face héberge plus de deux millions de modèles publics). Malheureusement, l'intégrité comportementale du modèle téléchargé n'est jamais vérifiée, et celui-ci peut avoir été préalablement compromis par une porte dérobée. Il existe donc un besoin urgent de mettre en place des mécanismes de défense capables d'analyser les composants d'un système d'IA générative (modèles et bases de connaissances) et d'identifier ceux qui ont été empoisonnés.
Objectifs : La recherche se concentrera sur le développement de mécanismes innovants de détection et de défense contre les attaques furtives basées sur des triggers, en mettant l'accent sur les scénarios de déploiement réels et sur des benchmarks d'évaluation robustes. En plus de développer des mécanismes de défense et de mettre le code à disposition en open source, la thèse vise également à fournir à la communauté scientifique un framework d'évaluation complet.
Université / école doctorale
Sciences et Technologies de l'Information et de la Communication (STIC)
Paris-Saclay
Localisation du sujet de thèse
Site
Saclay
Critères candidat
Formation recommandée
Master 2 IA, Machine Learning ou statistiques
Demandeur
Disponibilité du poste
01/09/2026
Personne à contacter par le candidat
MAYOUE Aurélien < E-Mail aus Sicherheitsgründen gelöscht >
CEA
DRT/DIN/SMCD/LIIDE
CEA Saclay
Bâtiment 565, PC 192
91 191 Gif-sur-Yvette
01 69 08 88 96
Tuteur / Responsable de thèse
MOELLIC Pierre-Alain < E-Mail aus Sicherheitsgründen gelöscht >
CEA
DRT/DSYS//LSES
Centre de Microélectronique de Provence
880 route de Mimet
13120 Gardanne
0442616738
En savoir plus
https://list.cea.fr/fr/
