Description

Expert en développement et optimisation de pipelines de données. Maîtrise approfondie des processus de gestion de données, de la collecte à l'exploitation, en passant par la gouvernance, la sécurité et le contrôle qualité. Spécialisé dans la mise en place de solutions performantes et conformes aux normes de l'industrie, assurant l'intégrité et la valorisation optimale des actifs data de l'entreprise.

Langues

Français
Bilingue ou natif
Anglais
Capacité professionnelle complète

Préférences en matière de lieu de travail

Accepte de travailler sur site

Paris (jusqu’à 50 km)

EDF
Data Engineer
ENERGIE
septembre 2021 - Aujourd'hui (4 ans et 9 mois)
Nanterre, France
-Maintien en condition opérationnelle de la production.
Conception et mise en œuvre de processus efficaces pour la gestion des incidents.
-Gestion et optimisation de l'entrepôt de données (Data Warehouse) pour garantir une intégrité et une performance maximales.
-Développement, optimisation et industrialisation des pipelines de données pour améliorer leur efficacité et leur fiabilité.
-Implémentation et configuration de la plateforme Apache Airflow pour optimiser la gestion des flux de travail, accompagnées d'une refonte des jobs en format DAG et d'une personnalisation des opérateurs associés.
-Orchestration de la transition de notre portefeuille de services vers une architecture conteneurisée moderne, optimisant ainsi la flexibilité et l'efficacité opérationnelle.
-Mise en œuvre d'une stratégie d'automatisation complète et déploiement orchestré des services en architecture cluster Kubernetes, optimisant ainsi la scalabilité et la résilience de l'infrastructure.
-Mise en œuvre et configuration des pipelines CI/CD.
-Implémentation de l'outil DBT pour optimiser et rationaliser la génération de code SQL, améliorant ainsi la gestion et l'efficacité des objets de base de données.
-Mise en œuvre de la plateforme OpenMetadata pour répondre aux exigences de la gouvernance des données, englobant la gestion du catalogue de données, l'établissement du lignage, la création d'un dictionnaire de données exhaustif et l'assurance de la qualité des données.
-Développement d'une API pour l'exposition sécurisée et optimisée des données issues de l'entrepôt de données .
- J'ai assumé le rôle de Scrum Master au sein de l'équipe, guidant et facilitant l'application des principes agiles pour optimiser la productivité et l'efficacité du groupe.

Périmètre fonctionnel : valorisation des données IT de la DSIT EDF

Périmètre technique : Python, Bash, SQL, PostgreSQL, Linux, DBT,Docker,kubernetes ,AWS S3,HDFS,GiTlab (CI/CD), airflow, Graphana,Promtheus
DATANEO
data engineer
juillet 2020 - mai 2021 (10 mois)
Île-de-France, France
Rattaché au service Data sous la responsabilité du CDO et de la responsable Data, intervention sur la maintenance des applications portant sur la qualité des données et les données de production de l'entreprise :
- Identification des données source, gestion de l'intégration des données et optimisation des traitements de production.
- Développement, ordonnancement et paramétrage des traitements de la production.
- Participation à l'administration des applicatifs et des bases de données.
- Rédaction des dossiers d'exploitation, modes opératoires, consignes.
- Participation à l'analyse et conception des projets de l'entreprise(intégration de nouveaux comptes clients, développement des applicatifs, etc.). Outils: Python, Bash, SQL, MySQL, Oracle, ElasticSearch, Php, Amabis, Airflow
Lextenso
Data engineer
janvier 2020 - mai 2020 (4 mois)
Île-de-France, France
Refonte du système de gestion de données pour améliorer le traitement et la préparations des données juridique pour la clientèle de l'éditeur.
- Analyse de l'architecture de l'ancien système de préparation de données.
- Migration à une nouvelle version Talend et les librairies dépendantes.
- Développement des pipelines.
- Maintenir l'ancien système et résolution des bugs. Outils: Talend, Java, Shell