Description

Data Engineer Senior | Expert Big Data | 8 ans d'expérience

Fort de 8 ans d'expérience dans le domaine du Big Data, je suis un Data Engineer passionné, ayant travaillé avec plusieurs grands comptes sur des projets complexes de migration, de refonte et de conception de solutions Big Data. Mon expertise couvre une large gamme de technologies et de services sur des environnements Cloudera, AWS, et Azure.

J'ai une solide expérience en développement avec Java, Python, et Scala, et j'ai acquis une maîtrise approfondie des outils et frameworks Big Data comme Spark, Hive, Snowflake, et des bases de données SQL et NoSQL. Je suis également à l'aise avec des outils modernes tels que Terraform, DBT, Airflow pour l'automatisation et la gestion des pipelines de données.

Mon parcours inclut des missions variées, allant de la mise en place de solutions de migration sur le Cloud (AWS, Azure) à la conception d'architectures Big Data évolutives, en passant par l'optimisation de performances de systèmes de données à grande échelle.

Toujours à la recherche de défis techniques et d'opportunités pour apporter des solutions innovantes, je suis prêt à collaborer avec vos équipes pour transformer vos enjeux Big Data en succès.

Langues

Français
Bilingue ou natif
Anglais
Capacité professionnelle complète

Préférences en matière de lieu de travail

Accepte de travailler sur site

Paris 15e Arrondissement (jusqu’à 50 km)

Disney
Data Engineer
DIVERTISSEMENTS & LOISIRS
septembre 2022 - Aujourd'hui (3 ans et 9 mois)
Paris, France
Projet1:Développement et Conceptiondes pipelinespour lecleaning,transformationet migration desdonnées. Mise en place d'une architecture flocon pour mettre en place des KPIs complexes permettant à l'aide à la décision. Migration de la solution existante (on promise Mysql/Oracle/Sql Server) vers Snowflake en utilisant dbt/glue/snowpark/lambda functions dans le cadre d'un projet de refonte technico fonctionnelle.
• Contribution à la définition de la nouvelle architecture AWS (refonte architecturale/conceptuelle).
• Contribution à la modélisation des données sur les différentes étapes (dbt, S3, Snowflake).
• Gouvernance de la donnée en utilisant la modélisation DBT et la documentation sur Elementory.
• Modélisation d'un schéma Flocon pour les nouvelles tables pour la construction des KPI complexes.
• Formation des nouvelles recrues et reference technique pour l'équipe support sur les livrables.
• Gestion d'un projet de migration des données brutes from scratch.
• Développement des jobs Glues/Snowpark/Batchpour les transformations, la migration des données depuis le legacy (MySQL, SQL SERVER , Oracle) vers Snowflake en créant des tables agrégats.
• Développement des lambda functions pour le scheduling conditionné des jobs glues.
• Développement des lambda functions pour la migration des fichiers métiers Excel vers tables snowflake.
• Contribution à la chaine CI/CD pour les jobs glue.
• Planification et scheduling des différents jobs avec Airflow.
• Contribuer à la prise en main d'un projet de Disney US avec résolution des bugs remontés sur le projet UC et l'amélioration du pipeline.
STACK TECHNIQUE : SQL , SNOWPARK , SNOWFLAKE , PYTHON , AWS ,S3, GLUE , LAMBDA ,BATCH , Airflow, DBT, Elementory, UC4 , DOCKER , GIT , CODEBUILD.
Bpifrance
Data Engineer
SECTEUR PUBLIC & COLLECTIVITÉS
février 2022 - septembre 2022 (7 mois)
Projet1:
Développement de plusieurs pipelines pour le cleaning et transformation de donnéeset pour la migration de données du legacy vers AWS dans le cadre d'un projet de refonte technique.
• Contribution à la définition de l'architecture AWS du projet.
• Contribution à la modélisation des données sur les différentes étapes ( s3, kafka , mongoDb).
• Développement des jobs glues pour les transformations, la migration, la conversion de fichier plat en
event kafka et de l'event au fichier plat sur s3.
• Développement des lambda functions pour le scheduling conditionné des jobs glues.
• Contribution à la chaine CI/CD pour les jobs glue.
• Développement des microservices r esponsables à la manipulation de données.
• Planification et scheduling des différents jobs.
Total Energies
Data Engineer
novembre 2021 - février 2022 (4 mois)
Projet 1 :
Développement des pipelines Pour le cleaning etle chargement des données sur leCloud AWS
Conception et définition de la règle des imulations pour le simulateur du prix des déchets producteurs à fin de les vendre aux méthaniseurs.
Contribution à la définition de l'architecture AWS du projet.
Contribution à la construction de l'infra (deux environnements dev et prod) sur AWS en utilisant terraform.
Développement des jobs Python pour le cleaning des données depuis desAPI open Data.
Planification et scheduling des différents jobs en utilisant Ctrl-M.
Mise en place d'une chaine CI/CD utilisant les github actions.
Développement et scheduling des lambda functions pour la récupération des données depuis desAPI.
Développement d'un microservice pour la lecture des données depuis la base Postgres.
Technical stack : Python, Java , Terraform, AWS , Aws Lambda, SQL , GitHub actions, Spring boot