Description du poste
Domaine
Sciences pour l'ingénieur
Contrat
Stage
Intitulé de l'offre
Stage Distillation de connaissance cross-architecture pour systèmes embarqués-Saclay-H/F
Sujet de stage
Étude et développement de méthodes de distillation permettant de transférer les connaissances d'un modèle de vision fondé sur un Transformer (ViT, Swin) vers un réseau convolutif compact (ResNet, MobileNet). Le stage portera notamment sur l'alignement des représentations internes, la conception de fonctions de coût adaptées et l'évaluation des performances en vue d'un déploiement embarqué.
Durée du contrat (en mois)
6
Description de l'offre
En tant que stagiaire au CEA, vous aurez l'opportunité de travailler au sein d'un environnement de recherche de renommée mondiale. Nos équipes sont composées d'experts passionnés et dédiés, offrant un cadre propice à l'apprentissage et à la collaboration. Vous aurez accès à des équipements de pointe et à des ressources de recherche de premier ordre pour mener à bien vos missions. Éventuellement, les travaux menés donneront lieu à une publication scientifique.
Description du poste :
Les architectures modernes fondées sur les Transformers, telles que les ViT atteignent d'excellentes performances, mais restent coûteuses à déployer sur des plateformes embarquées aux ressources limitées. Les architectures convolutives, telles que ResNet ou MobileNet, sont davantage adaptées à ces contraintes, mais leur réduction en taille peut entraîner une dégradation de leurs performances.
La distillation de connaissances (Knowledge Distillation)est une méthode qui permet de transférer une partie du savoir d'un réseau complexe (teacher) à un modèle plus compact (student) en exploitant notamment les logits de sortie des réseaux, leurs feature maps intermédiaires ou d'autres données.
Qu'attendons-nous de vous?
L'objectif de ce stage est d'étudier et d'implémenter une ou plusieurs méthodes de distillation cross-architecture qui transfèrent les connaissances d'un modèle de type ViT ou Swin vers un réseau plus compact type ResNet ou MobileNet. Les représentations internes étant différentes, une importante réflexion sera à mener sur les projeteurs et adaptateurs permettant leur alignement. Le travail du candidat portera spécifiquement sur l'étude de l'état de l'art sur le sujet, la conception de stratégies d'alignement et des fonctions de coût à utiliser, l'implémentation de ces éléments dans le module de distillation d'Aidge (framework de deep learning développé au LIAE), leurs évaluations et leurs validations sur cible.
Quelques références:
- Cross-Architecture KD: https://openaccess.thecvf.com/content/ACCV2022/html/Liu_Cross-Architecture_Knowledge_Distillation_ACCV_2022_paper.html)
- ScaleKD : https://proceedings.neurips.cc/paper_files/paper/2024/hash/73bda9a20f6f9f6074ce822e76f126bb-Abstract-Conference.html
-RSD: https://openaccess.thecvf.com/content/ICCV2025/html/Zhang_Cross-Architecture_Distillation_Made_Simple_with_Redundancy_Suppression_ICCV_2025_paper.html
- Framework Aidge: https://eclipse.dev/aidge/
#Cea List
Moyens / Méthodes / Logiciels
Framework Aidge, développement en C++, Python
Profil du candidat
Profil
Master 2 ou équivalent, compétences en C++ et Python (obligatoire), connaissances en deep learning (oboigatoire), connaissance sen développement sur système embarqué (souhaité)
Localisation du poste
Site
Saclay
Localisation du poste
France, Ile-de-France, Essonne (91)
Ville
Saclay
Critères candidat
Diplôme préparé
Bac+5 - Master 2
Formation recommandée
Parcours en Deep Learning
Possibilité de poursuite en thèse
Oui
Demandeur
Disponibilité du poste
01/02/2027
Domaine
Sciences pour l'ingénieur
Contrat
Stage
Intitulé de l'offre
Stage Distillation de connaissance cross-architecture pour systèmes embarqués-Saclay-H/F
Sujet de stage
Étude et développement de méthodes de distillation permettant de transférer les connaissances d'un modèle de vision fondé sur un Transformer (ViT, Swin) vers un réseau convolutif compact (ResNet, MobileNet). Le stage portera notamment sur l'alignement des représentations internes, la conception de fonctions de coût adaptées et l'évaluation des performances en vue d'un déploiement embarqué.
Durée du contrat (en mois)
6
Description de l'offre
En tant que stagiaire au CEA, vous aurez l'opportunité de travailler au sein d'un environnement de recherche de renommée mondiale. Nos équipes sont composées d'experts passionnés et dédiés, offrant un cadre propice à l'apprentissage et à la collaboration. Vous aurez accès à des équipements de pointe et à des ressources de recherche de premier ordre pour mener à bien vos missions. Éventuellement, les travaux menés donneront lieu à une publication scientifique.
Description du poste :
Les architectures modernes fondées sur les Transformers, telles que les ViT atteignent d'excellentes performances, mais restent coûteuses à déployer sur des plateformes embarquées aux ressources limitées. Les architectures convolutives, telles que ResNet ou MobileNet, sont davantage adaptées à ces contraintes, mais leur réduction en taille peut entraîner une dégradation de leurs performances.
La distillation de connaissances (Knowledge Distillation)est une méthode qui permet de transférer une partie du savoir d'un réseau complexe (teacher) à un modèle plus compact (student) en exploitant notamment les logits de sortie des réseaux, leurs feature maps intermédiaires ou d'autres données.
Qu'attendons-nous de vous?
L'objectif de ce stage est d'étudier et d'implémenter une ou plusieurs méthodes de distillation cross-architecture qui transfèrent les connaissances d'un modèle de type ViT ou Swin vers un réseau plus compact type ResNet ou MobileNet. Les représentations internes étant différentes, une importante réflexion sera à mener sur les projeteurs et adaptateurs permettant leur alignement. Le travail du candidat portera spécifiquement sur l'étude de l'état de l'art sur le sujet, la conception de stratégies d'alignement et des fonctions de coût à utiliser, l'implémentation de ces éléments dans le module de distillation d'Aidge (framework de deep learning développé au LIAE), leurs évaluations et leurs validations sur cible.
Quelques références:
- Cross-Architecture KD: https://openaccess.thecvf.com/content/ACCV2022/html/Liu_Cross-Architecture_Knowledge_Distillation_ACCV_2022_paper.html)
- ScaleKD : https://proceedings.neurips.cc/paper_files/paper/2024/hash/73bda9a20f6f9f6074ce822e76f126bb-Abstract-Conference.html
-RSD: https://openaccess.thecvf.com/content/ICCV2025/html/Zhang_Cross-Architecture_Distillation_Made_Simple_with_Redundancy_Suppression_ICCV_2025_paper.html
- Framework Aidge: https://eclipse.dev/aidge/
#Cea List
Moyens / Méthodes / Logiciels
Framework Aidge, développement en C++, Python
Profil du candidat
Profil
Master 2 ou équivalent, compétences en C++ et Python (obligatoire), connaissances en deep learning (oboigatoire), connaissance sen développement sur système embarqué (souhaité)
Localisation du poste
Site
Saclay
Localisation du poste
France, Ile-de-France, Essonne (91)
Ville
Saclay
Critères candidat
Diplôme préparé
Bac+5 - Master 2
Formation recommandée
Parcours en Deep Learning
Possibilité de poursuite en thèse
Oui
Demandeur
Disponibilité du poste
01/02/2027
