Description

En tant que Azure Data Engineer, j'intègre les différentes sources de données qui répondent à des besoins d'analyses avancés, ces données sources sont ingérées et stockés dans des comptes de stockage de Azure Datalake. Ces fichiers sont par la suite par plusieurs use cases dans lesquels je génère des business views en utilisant PySpark dans Databricks et tout le process est orchestré par Azure Data Factory.

En mode exploration de données, sous Databricks je crée des notebooks afin de générer des tables Delta dans le Hive Store ou des fichiers dans le DBFS, ces notebooks peuvent être schedulés afin d’automatiser le traitement.

Travaillant avec des Data Scientists, je prépare et nettoie des jeux de données pour des besoins de Machine Learning.

Etant passionné par l'acquisition de nouvelles compétences, je reste ouvert à la montée en compétence sur de nouveaux outils ou d'autres plateformes.

Domaines d’expertise

Langues

Français
Bilingue ou natif
Anglais
Capacité professionnelle complète

Préférences en matière de lieu de travail

Accepte de travailler sur site

Paris (jusqu’à 50 km)

AXA GO
Senior Data Engineer
novembre 2024 - Aujourd'hui (1 an et 7 mois)
Paris, France
Création des pipelines d’ingestion des données déversées dans le Datalake.
Transformation des données en utilisant Pyspark/Scala afin de produire des vues orientées métier.
Orchestration des jobs en utilisant Azure Data Factory
Prise en charge du Life Cycle Management des données dans le lake.
Optimisation du code pour la bonne maîtrise des coûts Azure
Suivi des coûts Azure
Rafraîchissement des données dans des cubes Azure Analysis Services ou des Datasets.
Création des rapports Power BI
Aide à la rédaction des spécifications techniques
Déroulement des tests unitaires et d'intégration
PySpark Azure Databricks Azure Data Factory Azure DevOps Scala
AXA en France
Data Engineer
février 2020 - septembre 2024 (4 ans et 8 mois)
Île-de-France, France
Mission:
Création des pipelines d’ingestion des données diversées dans le Lake Azure provenant de différentes sources de données et la génération de Business Views dans l’environnement Cloud Azure.
Mise en place d'un cube Azure Analysis Services

Organisation du travail:
Je travaille en tant que Data Engineer et Data Analyst
Recueil et analyse du besoin auprès du métier et proposition des solutions techniques
Définition des contrats d’interface avec les différents partenaires IN et OUT

Rôles :
Ingestion des données brutes et les intégrer dans le Data lake sous format PARQUET.
Création de la couche SILVER historisée à partir des données préparées sous format DELTA.
Génération de la couche Gold en créant des Business Views en répondant à des besoins spécifiques métier.
Création des tables SQL sur des environnements de travail Azure Databricks afin de répondre à des besoins de Reporing Power BI.
Export des données à partir des USE CASE vers des points de montage accessibles par des applications partenaire.
Création et maintenabilité des pipelines Azure Data Factory.
Analyse et résolution des incidents liés à l’environnement Big Data.
Recette des Business View et débogage du code en Pyspark
Exécution et formalisation des tests unitaires et Tests d'intégration.
Gestion du code et intégration continue sur Azure DevOps.
Rédaction des spécifications techniques détaillées.
Sécurisation des données dans le Cube.
Création et gestion des Pipelines Azure.
Traduction du besoin métier en PySpark afin de créer les Business Views.
Développement des Business Views en Pyspark
Documentation technique.
Exploration des données sous SQL Developer d’Oracle (Source principale)
Développement des Cubes Azure Analysis Services
Développement des rapports et Dashboards Power BI
Déploiement et Mise en Production des livrables en tant que Tech Lead.
Coordination technique pour la définition de l’architecture technique
Suivi de l’avancement des sujets en mode Agile
PySpark Azure Databricks Azure Datalake Azure Data Factory Azure DevOps
Société Générale
Consultant MS BI
août 2019 - janvier 2020 (5 mois)
Île-de-France, France
Mission:
Mise en place d'un projet de monitoring des instances et des licences des serveurs et des applications Middleware.
Chargement et transformation des données sources (STG, ODS et DWH) et création des rapports Power BI.

Organisation du travail:
Je travaille en tant que Consultant Technico-fonctionnel pour la rédaction des spécifications fonctionnelles et techniques.
Recueil et analyse du besoin auprès des métier.

Rôles :
Rédaction des spécifications techniques détaillées.
Définition de l'architecture technique.
Documentation technique.
Développement sur les différentes couches:
- ETL (SSIS): Pour le chargement des données à partir des différentes bases des systèmes opérationnels en Staging area, ODS et Data Warehouse.
- Création des rapports et dashboards Power BI.
Conception et Création des bases Staging, ODS et Data warehouse.
Création des Procédures stockées pour la génération des logs de chargements.
Exécution et formalisation des tests unitaires et Tests d'intégration.
Gestion de configuration sous GitHub.
Déploiement et Mise en Production des livrables.
Demande de création des VMs et de demande d'attribution des droits associés.
Coordination technique.