Description

Je suis un Data Engineer avec 15 ans d'expérience en développement dont 8 ans en Big Data & Cloud.

J'ai travaillé sur plusieurs projets en big data pour le compte de plusieurs clients, le dernier en tant que Tech lead Azure Data Engineer chez SNCF VOYAGEURS, depuis Janvier 2022.

Langues

Anglais
Capacité professionnelle complète
Français
Bilingue ou natif

Préférences en matière de lieu de travail

Accepte de travailler sur site

Paris (jusqu’à 50 km)

SNCF Voyageurs
Tech Lead Big Data/Azure/Scala/Python/Spark
TRANSPORTS
janvier 2022 - Aujourd'hui (4 ans et 5 mois)
Saint-Denis, France
En tant que Tech Lead Big Data, je pilote plusieurs projets stratégiques, dont un projet phare pour SNCF Voyage NAOMI. Mon travail consiste à traiter et optimiser d'importants volumes de données clients (140 Go de données JSON raw quotidiennement), avec réconciliation sur 16 To de données historiques couvrant 4 ans. J'assure le traitement complet des données via une chaîne performante sur le cloud Azure, jusqu'à leur mise à disposition dans Synapse.

Collaboration et coordination avec les équipes métiers :
Collaboration étroite avec les Product Owners (PPO) pour définir et formaliser les spécifications fonctionnelles/techniques en fonction des besoins métiers.
Analyse des données et réalisation de reverse engineering pour optimiser les processus existants et garantir l'adéquation des solutions techniques aux attentes.
Traitement de données volumineuses :
Conception et réalisation de solutions pour le traitement de 150 Go de données quotidiennes au format JSON, avec réconciliation sur 10 To de données historiques.
Compétences techniques :
Développement et optimisation de la chaîne de traitement de données sur le cloud Azure, depuis l'ingestion jusqu'à la mise à disposition dans Azure Synapse.
Utilisation de Python, Scala et Apache Spark pour garantir des performances élevées et une scalabilité optimale.
Optimisation et tuning :
Amélioration continue des performances et optimisation du code pour respecter l'objectif clé de traitement complet en moins de 4 heures, conformément aux exigences métiers.
Gestion des incidents et support en production :
Résolution d'incidents critiques en production, identification et correction des goulots d'étranglement, et optimisation des performances en temps réel.
Standards de qualité et meilleures pratiques :
Contribution à l'élaboration des standards de qualité du code et mise en place des meilleures pratiques de développement au sein des équipes.
Scala Python 3 Spark PySpark Databricks Azure Synapse Analytics Pandas Ansible
Société Générale
Tech Lead Azure Data Engineer
BANQUE & ASSURANCES
novembre 2019 - Aujourd'hui (6 ans et 7 mois)
Paris, France
Refonte de la partie backend de l’application C-profit écrite initialement en pl/sql. C'est une application de reporting qui permet de couvrir l’un des besoins les plus critiques de la SG, à savoir prendre les bonnes décisions pour augmenter les revenues de la banque au vu de la profitabilité des clients et la performance des sales.

▪ Mise en place de l’architecture du projet de refonte, configuration des différentes briques utilisées.
▪ Mise en place de l’initial load. Schema en snowflake, lecture en spark jdbc de la data mart sur exadata + jobs sqoop d’intégration des dimensions depuis exadata, et processing du tout via spark.
▪ Jobs spark de processing de fichiers en format XML/CSV/JSON.
▪ Jobs de feed du cube SSAS via une étape intermédiaire basée sur postgresql
▪ Intégration de spark avec cucumber pour BDD.
▪ Gestion de l’arborescence des clients et de la structure des départements (Business Unit SG) via GraphFrame.
▪ Ordonnancement des flux de job via Oozie.
▪ Migration de l’application du lake on-premise vers Azure HDInsight.
▪ Mise en place du pipeline Azure Data Factory pour la synchro des jobs.
▪ Mise en place de spark standalone sur des VMs Azure via Ansible/Terraform, pour les tests quotidiens des jobs.
Azure Data Factory Azure HDInsight Databricks Spark Scala Hadoop Terraform Ansible
Natixis
Tech Lead Big Data/Scala/Spark
BANQUE & ASSURANCES
août 2018 - novembre 2019 (1 an et 3 mois)
Au sein de la DSI, un certain nombre d’applications Hadoop ont été développées en Scala/Spark. Elles exécutent des traitements d’ETL et de calcul pour la direction des Risques. Ces applications évoluent au fil des mois au gré des évolutions réglementaires et des besoins métiers.

Il s’agit d’une mission de conseil, développement et support au développement autour des outils de l’écosystème Hadoop afin de faire évoluer les applications développées en Scala/Spark vers du streaming en temps réel.
Scala Spark Streaming Hive HBase spark kafka Jenkins