Description

Data Enginner depuis 2016 dont trois années de prestation, je souhaite à présent trouver de nouveaux défis.

Durant ces quelques années j'ai pu travailler sur différentes parties de l'univers de la data :

- Gestion d'infrastructures on-premise Hadoop et AWS

- Accompagnement clients sur l'utilisation des technologies big data et data science

- Mise en place et prise en main d'outils (Airflow, H2O, Jupyter, Zeppelin, Docker, Janus Graph, ect..)

- Développement d'un framework de traitement Spark

- Création de dashboard et des flux alimentation

Je suis à la recherche d'une mission de data engineer qui pourra me permettre de continuer à consolider mes compétences de developpeur.

Langues

Anglais
Capacité professionnelle limitée
Français
Bilingue ou natif

Préférences en matière de lieu de travail

Accepte de travailler sur site

Paris (jusqu’à 10 km)

Bpifrance
Data engineer
BANQUE & ASSURANCES
juin 2022 - août 2024 (2 ans et 1 mois)
Maisons-Alfort, France
Remise à plat du service Market Data chez BPI. Récupérer et gérer les données externes utilisées par les différents comptoirs au sein de BPI.
Migration des jobs Python vers PySpark pour optimiser les performances et l'évolutivité.
Mise en place des pipelines CI/CD et Infrastructure as Code (IaC) pour améliorer l'efficacité et la fiabilité des déploiements.
Revue et optimisation de l'utilisation des différentes technologies (AWS Glue, MWAA, AWS Lambda, etc.).
Création de BPI-WORKSPACE pour faciliter le développement et l'accès aux ressources pour les data engineers au sein de notre équipe (IAC + Scripts d’utilisation).
Implémentation du Data Vault pour une meilleure gestion et organisation des données.
Mise en place et maintenance des outils d’observabilité pour assurer une surveillance et un suivi efficaces des systèmes.
Optimisation des coûts liés à l'utilisation des services cloud.
Suivi des doctrines de sécurité : Migration vers HSM et mise en place des rôles assumés au sein de nos jobs.
Accompagnement des nouveaux développeurs Spark pour une intégration rapide et efficace.
Mise en place d’un framework interne pour le service et participation à l’élaboration d’un framework PySpark pour BPI.
Alimentation et maintenance de bases Mongo et topics Kafka.
PySpark Datavault Terraform AWS Glue AWS Athena MongoDB Kafka AWS Lambda Bash Jenkins Sonar Airflow
Wigglytrout Software
CTO
EDITION DE LOGICIELS
septembre 2021 - mai 2022 (8 mois)
Création d’une plateforme de type notebook pour aider les équipes de
sécurité. L’intégralité des POCs eectué l’ont été sur GCP avec un produit
dockerisé :
- Securityhub est une plateforme de notebook basée sur Zeppelin qui
permet de créer, schéduler et partager des notebooks. Installés sur
Kali Linux, cette solution a pour objectif de mettre l’ensemble des
outils à disposition des équipes de sécurité et d'améliorer les
échanges d’informations avec les autres équipes.
- Intégration de zeppelin avec une authentification au travers d’un AD
server au travers d’apache Shiro.
- Kraken est un framework basé sur Trino/Presto, DBT et Hive
Metastore. Il a pour objectif de permettre aux utilisateurs de se
connecter à un large choix de sources de données : s3, gcp, BigQuery,
Hive, HDFS, etc..
- Github Action: builder et deployer une image docker dans Container
Registry (GCP) et dockerhub, deployer l’image sur Cloud Run et
eectuer une série de tests automatisé sur le container.
- Mise à disposition des données via Google Cloud Storage et
interrogation au travers de BigQuery.
Google cloud Docker Zeppelin Java
Adaltas
ingénieur d'études
CONSEIL & AUDIT
juillet 2019 - février 2022 (2 ans et 7 mois)
Boulogne-Billancourt, France
Consultant informatiques deux missions principales :

DATAKILI Paris – Big Data Engineer
- Développement de jobs Spark en Scala
- Développement de jobs Java Spring
- Modification de base de données multi-tenant avec Liquibase
- Correction et intégration de fichiers clients
- Test et déploiement de la solution
- Mise en place métrics via Kibana

EDF R&D Paris/Saclay, Adaltas – InfraOps, Big Data Engineer
- Appui et formation des équipes métiers, accompagnement des projets
- Déploiement, exploitation et supervision de clusters HDP, HDF, Docker et R
- Déploiement de nouveaux composants : Airflow, HDF5, H20 AutoML
- Optimisation et sécurisation de clusters Hadoop
- Étude et mise en place de librairies de visualisation intégrées à Python/PySpark : Streamlit, Geospark
- Support Docker dans un environnement de Data Science (intégration GPU, Conda, Jupyter, R)
- Automatisation de chaîne d’ingestion de données avec Airflow, PySpark et Python
- Accompagnement sur les outils AWS
Hadoop Spark AWS Docker Python Linux Java Bash