Description

Data Engineer orienté production : je conçois et j’industrialise des pipelines data fiables, observables et relançables. J’accompagne les équipes sur une chaîne complète : ingestion (API/SFTP/DB), stockage/lakehouse, transformations en SQL/Python et traitements distribués Spark / Databricks, orchestration Apache Airflow, qualité de données (tests/contrôles) et exposition pour l’analytics (tables de service, exports, dashboards).

Je travaille avec une approche pragmatique “prod-ready” : workflows Airflow lisibles (dépendances, retries, SLA, backfills, pools, alerting), jobs Spark/Databricks optimisés (partitioning, formats colonne type Parquet/Delta, réduction des coûts), et environnements standardisés via Docker et Terraform (dev / préprod / prod). L’objectif : moins d’incidents, des runs stables, et une plateforme data maintenable.

Ce que je livre généralement :

Pipelines ETL/ELT de bout en bout (Python/SQL) + incrémental/partitions

Jobs Spark / Databricks (PySpark) : nettoyage, normalisation, agrégations, optimisation perf/coûts

DAGs Airflow “prod-ready” : scheduling, retries, alerting, backfill maîtrisé

Modélisation analytique (staging → marts) + contrôles qualité (tests, audits, quarantaines)

Packaging & déploiement : Docker + CI/CD, Infrastructure as Code Terraform

Documentation, runbooks et transfert de connaissances

Mots-clés : Data Engineering, Python, SQL, Apache Airflow, Spark, Databricks, Delta Lake, Parquet, Lakehouse, Terraform, Docker, Kubernetes, CI/CD, DataOps, Data Quality.

Domaines d’expertise

Langues

Français
Bilingue ou natif
Anglais
Capacité professionnelle complète
Arabe
Capacité professionnelle complète

Préférences en matière de lieu de travail

Accepte de travailler sur site

Marseille (jusqu’à 50 km)

PowerUp Technology
Data platform engineer
ENERGIE
mars 2025 - octobre 2025 (7 mois)
Paris, France
Développer et industrialiser les calculs électrochimiques (SOC/SOH, cycles, RUL) en Python et optimisés pour l'exécution distribuée (PySpark sur Azure Databricks). Construire et maintenir des pipelines data de production : ingestion des données (SFTP) → stockage structuré sur Azure Data Lake (ADLS Gen2) → transformations sur Databricks → exposition dans PostgreSQL / ClickHouse. Orchestrer et superviser les workflows d'ingestion et de calcul via Apache Airflow (DAGs, dépendances, retries, alerting, observabilité). Modéliser et transformer les données analytiques avec dbt (modèles SQL, tests de qualité, documentation) sur les tables d'exposition (ClickHouse / PostgreSQL). Gérer les bases de données analytiques et opérationnelles (PostgreSQL / ClickHouse) : modèles, intégrité, performance et vues d'exposition pour les équipes internes. Maintenir et structurer les dépôts Python internes : industrialisation, packaging, CI/CD, gestion des dépendances et déploiements via Azure DevOps (pipelines & Docker). Collaborer avec les experts R&D pour intégrer les algorithmes électrochimiques à la plateforme SaaS et les adapter au scale de production. Superviser et fiabiliser l'exécution quotidienne des workflows et des calculs pour tous les clients, en lien étroit avec l'équipe Customer Success.

Résultats : +20 assets déployés en production (actifs batteries multi-clients) et onboarding client réduit de plusieurs semaines à 2 jours grâce à l'automatisation des flux et des calculs.

Stack : Python
• Apache Airflow
◦ dbt Core
◦ Azure Databricks
◦ PySpark
◦ Azure Data Lake (ADLS Gen2)
◦ Azure DevOps
• Docker
◦ PostgreSQL
◦ ClickHouse
◦ Cosmos DB
PySpark Python DBT Docker Azure Databricks
SkyOps
Data Engineer
janvier 2023 - janvier 2024 (1 an)
Paris, France
Concevoir et industrialiser des pipelines d'ingestion batch (API aviation, fichiers logs, bases opérationnelles) vers un data warehouse cloud (stockage structuré, historisation). Développer des transformations SQL/Python pour normaliser, agréger et exposer les données aviation (vols, événements, opérations) sous forme de tables analytiques. Orchestrer les workflows de traitement via un scheduler (DAGs, dépendances, retries, alerting) afin de garantir des mises à jour quotidiennes fiables des indicateurs. Mettre en place des contrôles de qualité (tests de cohérence, vérification de complétude, règles métier) pour sécuriser l'usage des données par les équipes métiers. Collaborer avec les équipes produit et data pour définir les KPIs aviation/ops et faire évoluer les modèles de données en fonction des besoins

Stack : Python
• SQL
◦ Apache Airflow
◦ dbt Core
◦ Azure Synapse
◦ Git
◦ Docker
◦ Power BI
Koacher
Data Engineer
septembre 2022 - août 2023 (11 mois)
Lyon, France
Mettre en place des pipelines ETL pour collecter les données utilisateurs et sportives (événements applicatifs, séances, comportements), les nettoyer et les historiser. Construire des modèles de données analytiques (tables de faits et dimensions, vues agrégées) pour le suivi de la performance et de l'engagement dans la plateforme. Développer des transformations SQL/Python automatisées pour calculer les KPIs clés (fréquence d'entraînement, intensité, rétention, progression) exposés aux dashboards. Standardiser et documenter les schémas de données afin de faciliter l'exploitation par les équipes produit, marketing et data. Contribuer à l'amélioration de la fiabilité des traitements (monitoring, logs, corrections des anomalies de données).

Stack :Python
• SQL
◦ Apache Airflow
◦ dbt Core
◦ Firebase
◦ BigQuery
◦ Looker Studio
◦ Git
◦ Docker