Stage - Big Data - Data-ingestion H/F
Atos

Stage - Big Data - Data-ingestion H/F

Atos
  • Internship (From 4 to 6 months (Start date Jan. 2022))
  • Lyon (France)
  • Published on September 14 2021

Mission :

 

Dans le cadre de notre DataLab, nous souhaitons mettre en place du DevOps (intégration continue, tests automatisés, contrôle de code automatisé, etc.), faire évoluer le Framework ESB (utilisé actuellement chez 2 de nos clients) ainsi que la partie Datalake Elasticsearch (ELK : Elasticsearch, Logstach, Kibana (ou Graphana)).

Toutes ces améliorations auront un intérêt réel puisqu’ils viendront compléter les Frameworks déjà en place chez nos clients, et nous pourrons aussi aller chercher de nouveaux clients avec ces nouvelles fonctionnalités.

 

  1. Data-ingestion - ESB :
  • Prise de connaissance et formation sur l’architecture SOA, REST, SOAP, JSon, TIBCO BusinessWork
  • Créé un système qui évite la duplication de code qui est pour le moment incontournable dans le framework du au limitation de TIBCO
  • Etudier si avec Maven ou d'autres outils nous pouvons faire une jointure de plusieurs applications au moment de la compilation via un fichier de configuration
  • Etudier la partie Containérisation et voir ce qui serait possible de mettre en place (Kubernetes, Dockers)
  • Création d’API
  • Possibilité de travailler sur des projets clients

 

  1. Big-Data - ELK (Datalake Elasticsearch + Outils de Data-viz) :
  • Prise de connaissance et formation sur le Datalake Elasticsearch + Logstach
  • Prise de connaissance et formation sur les outils de Data-viz Kibana et/ou Grafana
  • Faire évoluer ce qui existe déjà aujourd’hui dans le Framework autour de l’analyse des logs et de leur visualisation : être force de proposition sur cet item
  • Possibilité de travailler sur des projets clients

 

  1. Devops :
  • Prise de connaissance et montée en compétence sur tous les logiciels autour de l’intégration continue
  • Création de la chaine CI / CD de notre framework avec l'aide de Jenkins, Maven, SonarQube, Simulate box et Test box (outils interne Atos) et Ansible
  • Pendant le stage il faudra apprendre à maitriser la technologie Maven et du plugin Maven TIBCO pour gérer le cycle de vie des applications
  • Il faudra créer un pipeline Jenkins pour être en mesure de :
    • Générer les livrables,
    • Les déployer dans un répository central (type nexus),
    • Faire de l'audit de code avec SonarQube,
    • Passer des tests des unitaires et de non-régression avec les box Atos, envoyer un rapport,
    • Puis installer en développement, puis recette, puis production.

 

 

Profil : 

 

  • Étudiant(e) en dernière année de cursus diplômant en Informatique générale, Big-data et/ou Data Science
  • Vous disposez d’une base scientifique, d’un esprit synthétique et d'une capacité de travail en groupe.
  • Vous faites preuve d’autonomie dans vos recherches documentaires ainsi que dans vos implémentations.
  • Vous avez une bonne communication et êtes à l’aise autant à l’écrit qu’à l’oral.