Description

Avec 5 ans d’expériences dans le développement BigData (on-premise et cloud) et une expertise technique de plus de 10 ans dans l’architecture, développement et conception des applications je peux accompagner les différents types de projets à faire une transformation ou une migration vers plus de trafics et plus de data avec des scénarios et architectures adaptés.

Travailler avec une équipe sur des problématiques du BigData où je mettrai mon dynamisme, mon expérience, ma force de proposition et mes compétences.

Langues

Français
Bilingue ou natif
Anglais
Capacité professionnelle complète

Préférences en matière de lieu de travail

Accepte de travailler sur site

Rueil-Malmaison (jusqu’à 50 km)

Groupama
Big Data Engineer
BANQUE & ASSURANCES
novembre 2022 - Aujourd'hui (3 ans et 6 mois)
Paris, France
Objectif de la mission : Migration des flux Spark du cluster Yarn vers Mesos, Analyser corriger les incidents confiés avec les reprises de données afférentes et formation sur les technologies Big Data.
voilà en gros les principales tâches que j'ai effectuées :

• Assurer le suivi des traitements quotidien en Spark/Scala, hebdo des applications en charge
• Développer les scripts pour migrer les flux du cluster Yarn vers Mesos .
• Analyse de besoin, design, développement, support, maintenance corrective et évolutive.
• Participer à l’évolution et aux améliorations des services déjà en place en concertation avec le métier représenté par les PO.
• Développer et tester les corrections d'incidents.
• Livrer en production les corrections
• Mettre à jour la documentation(confluence).
• Accompagner et faire monter en compétence les équipiers du pole et formations sur des technologies Big Data (Spark-Scala/Hadoop/ELK), ACTIVITES :

- Préparation supports de cours/présentations
- Animation des sessions de formation
- Mener des workshops
.

Environnement technique : Spark, Scala, Hadoop, Hive, HDFS, Oozie, Hue, kafka , Mesos
-Data Platform (HDP), Hortonworks, Ambari, SHell Unix, IntelliJ-IDEA.
-Methode : Agile, un scrum master qui aide le Product Owner dans ses responsabilités, ainsi il organise les cérémonies agiles comme Le Sprint Planning,Les Daily et les Sprints Review.
Spark, Scala, Hadoop, Hive, HDFS, Oozie, Hue, kafka , Mesos -Data Platform (HDP), Hortonworks, Ambari, SHell Unix, IntelliJ-IDEA.
Natixis Corporate & Investment Banking
Big Data Engineer
BANQUE & ASSURANCES
avril 2022 - septembre 2022 (5 mois)
Charenton-le-Pont, France
Objectif de la mission : Implémentation des améliorations techniques et fonctionnelles sur le code(Spark-Scala) du projet d'ingestion des données existant (Comet - Datafactory-Nps) selon besoin du métier. voilà en gros les principales tâches que j'ai effectuées :

• Ingestion, transformation, et exposition des données sur GCP.
• Développements des jobs pour le stagging des données dans BigQuery.
• Test et déploiement sur les environnements de développement, de validation et de production, packaging des livraisons.
• Développement et mise en place script (python) Airflow via un projet TerraForm (df-echange-flux).
• Audit et refacto code (Spark-Scala).
• Développement et alimentation d’objets et vues métier en restituant et réconciliant les données stockées dans BigQuery.
• Création et maintien d’un lien fort avec le métier pour améliorer la satisfaction client.
• Suivi d’incident des ingestions.

Environnement technique: Spark, Scala, Python, Terraform, Bigquery, Airflow, dataproc,GIT/Bitbucket,Sbt
-Data Platform : Google Cloud Platform
-Methode : Agile, un scrum master qui aide le Product Owner dans ses responsabilités, ainsi il organise les cérémonies agiles comme Le Sprint Planning,Les Daily,les Sprint Review et les groomings .
spark, Scala, Python, Terraform, Bigquery, Airflow, dataproc,GIT/Bitbucket,Sbt, gcp
Renault Digital
Cloud Big Data Engineer
AUTOMOBILE
janvier 2020 - février 2022 (2 ans et 2 mois)
Boulogne-Billancourt, France
• Migration de 500 sources (300 Raw, 200 gold , Nifi data import, DLL Spark data-ingestion) depuis Datalake Renault Digital (Cloudera on-premise) vers GCP - Google Cloud Platform.
• Développement de traitements d’ingestion, de normalisation et de consommation des données structurées et non structurées.
• Automatisation des Processus d’ingestion de données dans BigQuery.
• Accompagner les équipes pour faciliter la migration vers le cloud de leurs services.
• Contribuer à l'implémentation et à la réalisation technique des solutions choisies.
• Développement du projet Terraform qui permet la création du plan d'exécution détaillé pour construire l'infrastructure dans GCP (Création projet, dataset, bucket, compte service, etc.).
• Audit de projets (Python, Pyspark, etc.).
• Migration des projets de Pyspark vers script SQl (BigQuery) .
• Déploiement continue des applications (CI/CD).
• Mise en place des tableaux de bord Google Data Studio, GRAFANA (BigQuery billing , execution of DAGs, data sources ingestion, Track and analyse GCP cost per projects, domain, services, ingestions + consumers, volume of data hosted etc.).
• Migration/transformation des workflows Oozie en dags Airflow sur GCP Cloud Composer.
• Documentation dans Confluence de normes et bonnes pratiques.
• Assurer le support aux utilisateurs BI, Data Analyste et Scientiste à l'utilisation de la plateforme pour l'ingestion et le traitement des données.
Environnement technique: Spark, Scala, Python, Nifi, Terraform, Pyspark, Bigquery, Airflow, dataproc,
GIT/Gitlabee.
 

Data Platform : Google Cloud Platform

Apache Spark Scala Python Nifi Terraforme Pyspark Bigquery Airflow dataproc pub/sub GIT/Gitlabe