Description du poste
Domaine
Sciences pour l'ingénieur
Contrat
Stage
Intitulé de l'offre
Interactions lumineuses par ray tracing entre des modèles 3D et une scène 3D Gaussian spaltting. H/F
Sujet de stage
Le sujet du Novel View Synthesis a connu ces dernières années des avancées remarquables grâce à l'apparition des Neural Radiance Field [1] puis des 3D Gaussian Splatting [2]. Notre laboratoire a ainsi développé un outil de visualisation et d'interaction en Réalité Virtuelle basé sur cette dernière approche qui a rencontré un grand succès.
[1] B. Mildenhall, P. P. Srinivasan, M. Tancik, J. T. Barron, R. Ramamoorthi, and R. Ng. Nerf: Representing scenes as neural radiance fields for view synthesis. In European Conference on Computer Vision (ECCV), 2020.
[2] Kerbl, B., Kopanas, G., Leimkühler, T., Drettakis, G. (2023). 3d gaussian splatting for real-time radiance field rendering. ACM Transactions on Graphics (ToG), 42(4), 1-14.
Durée du contrat (en mois)
6
Description de l'offre
Le but de ce stage est de mettre en scène des objets modélisés via des maillages triangulaires dans des environnements complexes représentés par des 3D Gaussian Splatting. Afin de ne pas rompre l'expérience immersive, il est important de simuler les interactions lumineuses entre les objets et la scène par ombres portées ou reçues, réflexions, réfractions etc.. voir [3] pour une première tentative non interactive basée NeRF. Nous nous proposons de nous appuyer sur les moteurs de rendus ray tracing disponibles dans des plateformes telles qu'Unreal, pour ajouter d'une part la visualisation des 3D Gaussian Splat [4], [5] et [6], ainsi que la simulations d'interactions lumineuses en lançant des rayons secondaires [6]. Ce stage s'effectuera en collaboration avec celui d'un autre stagiaire qui travaillera à l'entrainement de scènes 3D Gaussian Splat à partir d'images et un rendu différentiable en ray tracing.
[3] Qiao, Y. L., Gao, A., Xu, Y., Feng, Y., Huang, J. B., Lin, M. C. (2023). Dynamic Mesh-Aware Radiance Fields. In Proceedings of the IEEE/CVF International Conference on Computer Vision (pp. 385-396).
[4] Mai, A., Hedman, P., Kopanas, G., Verbin, D., Futschik, D., Xu, Q., ... Zhang, Y. (2024). EVER: Exact Volumetric Ellipsoid Rendering for Real-time View Synthesis. arXiv preprint arXiv:2410.01804.
[5] Blanc, H., Deschaud, J. E., Paljic, A. (2024). RayGauss: Volumetric Gaussian-Based Ray Casting for Photorealistic Novel View Synthesis. arXiv preprint arXiv:2408.03356.
Profil du candidat
Bonne qualité rédactionnelle et de communication en français et anglais, rigueur dans l'analyse et la démarche.
Conformément aux engagements pris par le CEA en faveur de l'intégration de personnes en situation de handicap, cet emploi est ouvert à tous et toutes.
Localisation du poste
Site
Saclay
Localisation du poste
France, Ile-de-France, Essonne (91)
Ville
Palaiseau
Critères candidat
Diplôme préparé
Bac+5 - Master 2
Formation recommandée
Ingénieur, Master 2 recherche
Possibilité de poursuite en thèse
Oui
Demandeur
Disponibilité du poste
15/01/2024
Domaine
Sciences pour l'ingénieur
Contrat
Stage
Intitulé de l'offre
Interactions lumineuses par ray tracing entre des modèles 3D et une scène 3D Gaussian spaltting. H/F
Sujet de stage
Le sujet du Novel View Synthesis a connu ces dernières années des avancées remarquables grâce à l'apparition des Neural Radiance Field [1] puis des 3D Gaussian Splatting [2]. Notre laboratoire a ainsi développé un outil de visualisation et d'interaction en Réalité Virtuelle basé sur cette dernière approche qui a rencontré un grand succès.
[1] B. Mildenhall, P. P. Srinivasan, M. Tancik, J. T. Barron, R. Ramamoorthi, and R. Ng. Nerf: Representing scenes as neural radiance fields for view synthesis. In European Conference on Computer Vision (ECCV), 2020.
[2] Kerbl, B., Kopanas, G., Leimkühler, T., Drettakis, G. (2023). 3d gaussian splatting for real-time radiance field rendering. ACM Transactions on Graphics (ToG), 42(4), 1-14.
Durée du contrat (en mois)
6
Description de l'offre
Le but de ce stage est de mettre en scène des objets modélisés via des maillages triangulaires dans des environnements complexes représentés par des 3D Gaussian Splatting. Afin de ne pas rompre l'expérience immersive, il est important de simuler les interactions lumineuses entre les objets et la scène par ombres portées ou reçues, réflexions, réfractions etc.. voir [3] pour une première tentative non interactive basée NeRF. Nous nous proposons de nous appuyer sur les moteurs de rendus ray tracing disponibles dans des plateformes telles qu'Unreal, pour ajouter d'une part la visualisation des 3D Gaussian Splat [4], [5] et [6], ainsi que la simulations d'interactions lumineuses en lançant des rayons secondaires [6]. Ce stage s'effectuera en collaboration avec celui d'un autre stagiaire qui travaillera à l'entrainement de scènes 3D Gaussian Splat à partir d'images et un rendu différentiable en ray tracing.
[3] Qiao, Y. L., Gao, A., Xu, Y., Feng, Y., Huang, J. B., Lin, M. C. (2023). Dynamic Mesh-Aware Radiance Fields. In Proceedings of the IEEE/CVF International Conference on Computer Vision (pp. 385-396).
[4] Mai, A., Hedman, P., Kopanas, G., Verbin, D., Futschik, D., Xu, Q., ... Zhang, Y. (2024). EVER: Exact Volumetric Ellipsoid Rendering for Real-time View Synthesis. arXiv preprint arXiv:2410.01804.
[5] Blanc, H., Deschaud, J. E., Paljic, A. (2024). RayGauss: Volumetric Gaussian-Based Ray Casting for Photorealistic Novel View Synthesis. arXiv preprint arXiv:2408.03356.
Profil du candidat
Bonne qualité rédactionnelle et de communication en français et anglais, rigueur dans l'analyse et la démarche.
Conformément aux engagements pris par le CEA en faveur de l'intégration de personnes en situation de handicap, cet emploi est ouvert à tous et toutes.
Localisation du poste
Site
Saclay
Localisation du poste
France, Ile-de-France, Essonne (91)
Ville
Palaiseau
Critères candidat
Diplôme préparé
Bac+5 - Master 2
Formation recommandée
Ingénieur, Master 2 recherche
Possibilité de poursuite en thèse
Oui
Demandeur
Disponibilité du poste
15/01/2024
