Description du sujet de thèse
Domaine
Défis technologiques
Sujets de thèse
Optimisation d'architecture neuronale post-entraînement pour petit modèles de langage
Contrat
Thèse
Description de l'offre
L'IA générative, et en particulier les modèles de langage (LLM), ont conduit à une nouvelle révolution de l'IA avec des applications dans tous les domaines. Cependant, les LLM sont très gourmands en ressources (énergie, calculs, etc.) et, par conséquent, difficiles à mettre en œuvre sur des systèmes embarqués autonomes. Les LLM peuvent être optimisés en modifiant leur architecture, pour remplacer les opérations de Transformer coûteuses par des alternatives moins coûteuses. Etant donné la difficulté d'entraîner des LLM " from scratch ", cette thèse vise à développer des méthodes d'optimisation d'architecture neuronale post-entraînement, applicable à des petits LLM (SLM). De plus, la thèse vise à proposer un modèle de performance des différentes opérations d'un SLM et leurs alternatives, afin de guider le remplacement des opérations, et ainsi proposer une méthodologie complète d'optimisation de SLM en prenant en compte les contraintes matérielles. Le travail sera valorisé par des publications dans des conférences et journaux de rang majeur en IA, et les codes et méthodes développés pourront être intégrés dans les outils développés au CEA.
Université / école doctorale
Interfaces (INTERFACES)
Paris-Saclay
Localisation du sujet de thèse
Site
Grenoble
Critères candidat
Formation recommandée
Master 2 ou diplôme d'ingénieur en informatique ou IA ou systèmes embarqués
Demandeur
Disponibilité du poste
01/10/2026
Personne à contacter par le candidat
DAMPFHOFFER Manon < e-mail verwijderd om veiligheidsredenen >
CEA
DRT/DSCIN/DSCIN/LIIM
Centre de Grenoble
17, rue des Martyrs
38054 GRENOBLE Cedex 9
0438789747
Tuteur / Responsable de thèse
HUDELOT Céline
CentraleSupelec
Laboratoire MICS
Centrale-Supélec
Campus de Châtenay-Malabry
En savoir plus
https://www.linkedin.com/in/manon-dampfhoffer/
https://list.cea.fr/fr/
Domaine
Défis technologiques
Sujets de thèse
Optimisation d'architecture neuronale post-entraînement pour petit modèles de langage
Contrat
Thèse
Description de l'offre
L'IA générative, et en particulier les modèles de langage (LLM), ont conduit à une nouvelle révolution de l'IA avec des applications dans tous les domaines. Cependant, les LLM sont très gourmands en ressources (énergie, calculs, etc.) et, par conséquent, difficiles à mettre en œuvre sur des systèmes embarqués autonomes. Les LLM peuvent être optimisés en modifiant leur architecture, pour remplacer les opérations de Transformer coûteuses par des alternatives moins coûteuses. Etant donné la difficulté d'entraîner des LLM " from scratch ", cette thèse vise à développer des méthodes d'optimisation d'architecture neuronale post-entraînement, applicable à des petits LLM (SLM). De plus, la thèse vise à proposer un modèle de performance des différentes opérations d'un SLM et leurs alternatives, afin de guider le remplacement des opérations, et ainsi proposer une méthodologie complète d'optimisation de SLM en prenant en compte les contraintes matérielles. Le travail sera valorisé par des publications dans des conférences et journaux de rang majeur en IA, et les codes et méthodes développés pourront être intégrés dans les outils développés au CEA.
Université / école doctorale
Interfaces (INTERFACES)
Paris-Saclay
Localisation du sujet de thèse
Site
Grenoble
Critères candidat
Formation recommandée
Master 2 ou diplôme d'ingénieur en informatique ou IA ou systèmes embarqués
Demandeur
Disponibilité du poste
01/10/2026
Personne à contacter par le candidat
DAMPFHOFFER Manon < e-mail verwijderd om veiligheidsredenen >
CEA
DRT/DSCIN/DSCIN/LIIM
Centre de Grenoble
17, rue des Martyrs
38054 GRENOBLE Cedex 9
0438789747
Tuteur / Responsable de thèse
HUDELOT Céline
CentraleSupelec
Laboratoire MICS
Centrale-Supélec
Campus de Châtenay-Malabry
En savoir plus
https://www.linkedin.com/in/manon-dampfhoffer/
https://list.cea.fr/fr/
