Description

👋 Bienvenue sur mon profil Malt ! 🚀

Je suis Senior Data Engineer / Tech Lead (8+ ans), expert Databricks, Spark, Kafka, Airflow et CI/CD (GitLab/Jenkins). J’aide les équipes à livrer des pipelines fiables, observables et économiques, du batch au streaming, on-prem ou cloud (Azure/AWS). Domaines : banque/assurance, risque, fraude, réglementaire, KPI.

🧑‍💻 Data Engineering & DevOps

• Conception & build de pipelines ETL/ELT end-to-end (Delta/SQL/APIs)

• Streaming & event-driven avec Kafka (Connect/Streams/Schema Registry)

• Optimisation perfs & coûts (partitions, cache, AQE, Z-Order)

• Qualité des données, tests TDD, observabilité (métriques, SLA/SLO)

• Orchestration Airflow, CI/CD, packaging Docker

• Déploiements Kubernetes, gestion des secrets

• Maintenance évolutive/corrective & debug de jobs critiques

💻 Software Engineering

• Backends Python/Scala/Java (FastAPI/REST/Spring Boot)

• Intégration bases & modèles (Delta Lake, Hive, Elasticsearch, Postgres)

• Exposition de la donnée : APIs, SQL, dashboards & KPIs

🎯 Réalisations clés

• 🏦 Crédit Agricole Assurance : x30 de perfs sur Spark (heures → minutes) + migration Spark 3.5 & Airflow, automatisations via IHM.

• 🏦 Société Générale : migration fraude marché on-prem → Azure/Databricks, temps d’exécution ÷30.

• 🏦 Natixis : moteur risques (VaR/CVaR) optimisé, TDD 95 %, jobs 8 min → 1 min.

🧰 Stack

Apache Spark 2/3, Databricks (Delta/Unity Catalog), Kafka, Airflow, Hadoop/Hive/HBase, Snowflake, DBT, Python, Scala/Java, SQL, GitLab/Jenkins/Sonar, Docker/Kubernetes, Azure & AWS, Cloudera/MapR.

📈 Mon exigence : des solutions robustes, scalables, testées et observables, avec des quick wins dès la 1ʳᵉ semaine.

Besoin d’un expert Data Engineering/DevOps/CI ?

Écrivez-moi avec use case, volumétrie, stack : je reviens avec un plan d’attaque concret.

Je réponds vite (souvent < 1 h).

Agences/ESN : conditions spécifiques, me consulter.

Langues

Anglais
Capacité professionnelle complète
Allemand
Notions
Espagnol
Notions
Arabe
Bilingue ou natif
Français
Bilingue ou natif

Préférences en matière de lieu de travail

Accepte de travailler sur site

Paris (jusqu’à 50 km), Paris (jusqu’à 100 km)

Crédit Agricole Assurances
Tech Lead - Senior Data Engineer
BANQUE & ASSURANCES
janvier 2023 - Aujourd'hui (3 ans et 5 mois)
Paris, France
Contexte : Refonte, migration et évolution de plusieurs déclarations réglementaires mensuelles et annuelles (FICOVIE, IER, EAI CDC,
EAI, FATCA) dans un environnement Big Data critique et réglementé.

Actions :
Encadrement et mentoring d’une équipe de Data Engineers sur Spark/Hadoop.
Mise en place de standards de développement (Git, TDD, CI/CD, SonarQube).
Pilotage de la migration de la plateforme Data : orchestration Oozie → Airflow, migration Spark 2.4 → Spark 3.5, java 8 → java 17, gestion des contraintes de compatibilité et performance.
Participation active aux ateliers de spécifications techniques et fonctionnelles, ainsi qu’aux comités de suivi de migration.
Développement d’une IHM métier pour automatiser les processus déclaratifs de bout en bout.
Release management.

Résultats :
Réduction du temps de traitement Spark de plusieurs heures à quelques minutes (x30 en performance).
Succès de la migration vers Spark 3.5 et Airflow, avec sécurisation des jobs critiques et minimisation des risques de régression.
Accélération de la montée en compétence des équipes (formations Spark 3.x, Airflow, CI/CD).
Amélioration de la qualité logicielle et de la fiabilité des pipelines grâ ce à la mise en place des bonnes pratiques CI/CD et TDD.
Automatisation des déclaratifs réglementaires via l’IHM → réduction des tâches manuelles et fiabilisation des processus métiers.

Technologies : Spark 2.4 & 3.5, Hadoop, Hive, HBase, Kafka, Python, Airflow, Java 8, Scala 2.12, MAPR, Spring Boot, Angular, PostgreSQL, SQL, Kubernetes, JFrog, Jenkins, SonarQube, GitLab, Github Copilot (GPT, Claude, Gemini), IntelliJ, Windows.
Apache Spark Java Scala Airflow Kubernetes
Société Générale
Senior Data Engineer
BANQUE & ASSURANCES
août 2021 - décembre 2022 (1 an et 4 mois)
Fontenay-sous-Bois, France
Contexte : Développement d’une plateforme de contrô le de marché et détection de fraude sur des volumétries massives, dans un contexte de migration vers le Cloud.

Actions :
Pilotage de la migration de l’écosystème On-Premise → Cloud Azure (HDInsight, Azure Storage).
Migration Spark 2.x → Spark 3.x, avec optimisation des performances (AQE, DPP, jointures adaptatives).
Encadrement et mentoring de l’équipe Data Engineering (Paris, Londres, Bangalore).
Mise en place des bonnes pratiques de développement (Git, TDD, CI/CD, SonarQube)
Collaboration étroite avec les équipes métiers et support pour sécuriser les mises en production.
Release management.

Résultats :
Réduction du temps de traitement Spark de plusieurs heures à quelques minutes (x30 en performance).
Accélération des analyses de fraude grâ ce à des pipelines optimisés et scalables dans Azure.
Adoption réussie de Spark 3.x et Cloud Azure → amélioration de la robustesse et de la flexibilité de la plateforme.
Amélioration significative de la stabilité et des coû ts opérationnels des calculs de risque.
Amélioration de la qualité logicielle et de la fiabilité des pipelines grâ ce à la mise en place des bonnes pratiques CI/CD et TDD.

Technologies : Microsoft Azure (HDInsight, Azure Storage Explorer, Databricks), Java 8, Scala 2.11, Apache Spark 2 et 3, Kerberos, Spring Boot, REST API, HDP 2.6, Hive, Hadoop, Windows, IntelliJ.
Data Engineer Spark Scala Java Cloudera Data Platform
BPCE SA
Data Engineer
BANQUE & ASSURANCES
février 2019 - juin 2021 (2 ans et 4 mois)
Paris, France
Sujet : Logiciel de calcul des indicateurs de risk et P&L (Profit & Loss).

Assurer la maintenance et l’évolution des composants existants.
Implémenter les process de calcul pour HVAR, Sensi x Shocks, Stress Tests.
Implentation de la méthodologie TDD dans l’équipe (de 0% à 95% de courverture du code par TU).
Optimisation des algorithmes et code Spark pour plus d’efficacité en temps et utilisation mémoire(de 8mins à 1mins dans les process de calcul).
Analyse, conception et développement des solutions et des nouvelles fonctionnalités.
Participation à l’élaboration de spécifications technique et fonctionnelle.
Participation aux réunions de chiffrage des livrables.
Assurer les mises en production .
Coordination avec les équipes de support et infrastructure .

Technologies : Windows, IntelliJ, Scala 2.11, Apache Spark 2, Apache Kafka, Kerberos, Spring Boot, Java 8, REST API, HDP 2.6, HBase, Hive, Hadoop.
Data Engineer Spark Scala Event-driven architecture Cloudera Data Platform (CDP)

Consulter toutes les expériences de Chafiq

Ancien utilisateur et 5 autres personnes recommandent Chafiq

Agatha Frydrych

Backend Java Software Engineer

4.7

(3)

Baptiste Duhen

Fullstack developer

4.6

(4)

Amed Hamou

Senior Lead Developer

(2)

Audrey Champion

Web developer

4.3

(3)

S’inscrire pour les voir

Master MIAGE - Big Data pour la Finance
Université Paris-Dauphine
2017
- Big Data & Data Engineering - Machine Learning & Data Analytics
Diplôme d'ingénieur - Génie Logiciel (Option Big Data)
ENSEIRB-MATMECA
2017
- Développement Logiciel - Architecture des Système d'information - Développement Web - Bonnes pratiques et méthode Agile - Big Data

Big Data Analysis with Scala and Spark
École polytechnique fédérale de Lausanne (EPFL)
2017
https://www.coursera.org/account/accomplishments/verify/C78AT8HQV4YD
Scala Big Data Data Engineer Spark
Apache Kafka Series - Core & Internals
Udemy - Stephane Maarek
2019
https://www.udemy.com/certificate/UC-C4YC2LTJ/
Apache Kafka

Les certifications de Chafiq sont accessibles uniquement aux membres Malt

Data Engineer

Chafiq M.

🥇 Data engineer: Spark, Databricks, Lakehouse, AI

À propos de Chafiq

Expériences

Recommandations

Ces profils de freelance correspondent également à vos critères

Formations

Certifications

Compétences

Catégories