Description

As a computer enthusiast, I chose to become a Computer Science Engineer in the Big Data area with the aim to understand and participate in the tomorrow’s world.

For 8 years, I had the chance to actively participate to the implementation of three different and very critical distributed solutions in five of the largest French companies in the banking, luxury, transportation and energy sectors and one major food industry in Australia.

I learnt different hard skills:

- Big Data Technologies : Spark, Hadoop (YARN, HDFS, HBase), Databricks, Nifi, Kafka, Cassandra

- Programming Languages : Java, Scala, Python

- CI/CD : Jenkins, Azure DevOps, GitLab CI

- Testing : Unit Test, Cucumber

- Monitoring : Elasticseach, Kibana, Grafana

- Cloud : AWS, Azure

But also some usefull soft skills

- Teamwork and Agiles methods (Kanban, Scrum)

- Communication

- Leadership

Do not hesitate to add me if you think that we could collaborate !

Langues

Français
Bilingue ou natif
Anglais
Capacité professionnelle complète

Préférences en matière de lieu de travail

Accepte de travailler sur site

Annecy (jusqu’à 10 km), Lyon (jusqu’à 10 km), Paris (jusqu’à 10 km), Genève (jusqu’à 10 km)

Action Logement
Data Engineer
décembre 2024 - février 2026 (1 an et 2 mois)
- Conception du modèle de données
- Création des ressources Kubernetes (Base de données PostgreSQL, Service Spark, Airflow)
- Ingestion et nettoyage de données (Python, Spark)
- Mise en place de pipeline CI/CD via GitLab CI/CD
- Développement fullstack (Java Spring, Angular)
Python Apache Spark Airflow Postresql Kubernetes
Peters Ice Cream
Big Data Engineer
février 2024 - septembre 2024 (8 mois)
Melbourne, VIC, Australia
Implémentation de notebooks Databricks en Python / Spark permettant d’enrichir les données de fichiers clients à l’aide d’adresses déduites par Google et d’un score de confiance.
Mise en place de pipelines d’ingestions de données Azure Data Factory (de fichiers SFTP et PostgreSQL On-Premise vers Azure Data Lake Storage)
Industrialisation de la solution sur Azure DevOps
Azure Databricks Programmation Python Apache Spark Azure Data Factory Azure DevOps
AIR FRANCE
Big Data Engineer
octobre 2022 - décembre 2023 (1 an et 2 mois)
- Ingestion de différentes données via Spark (en Java) en mode batch (cluster Hadoop)
- Développement d’un notebook Jupyter (en PySpark) pour quantifier le problème de petits fichiers
- Mise en place d’un job Spark de merge des données pour réduire le nombre de petits fichiers
- Partitionnement par date de l’ensemble des données du cluster
Réduction du temps de traitement des jobs de 25% à 90%
Réduction par 100 du nombre de petits fichiers
Réduction par 10 de la taille sur disque
- Amélioration de pipelines CI/CD Bamboo
Java 11 Apache Spark Apache Hadoop Jupyter Notebook