Léonce E.

Data Engineering & Pipelines distribués

Conception de pipelines batch et streaming sur Spark, Kafka, AWS EMR, orchestrés avec Airflow ou Dagster, versionnés et déployés via GitOps.

Suivi des performances, de la latence, et du débit en production avec tests intégrés (unitaires, contractuels, qualité).

Infrastructure as Code & DevOps orienté données

Provisionnement automatisé via Terraform, Ansible, conteneurisation avec Docker, et CI/CD via GitHub Actions ou GitLab CI.

Intégration continue des pipelines de transformation (dbt, PySpark) avec versioning structuré.

Monitoring & Observabilité data-centric

Stack complète Prometheus + Grafana + ELK pour monitorer la santé des pipelines, des jobs, et des volumes de données.

Intégration de règles de détection d’anomalies, alertes intelligentes, et workflows de remédiation automatisés.

Data Quality, SLOs et gouvernance

Mise en œuvre de contrôles qualité (tests dbt, assertions Python, Soda SQL), SLOs data, dashboards pour équipes métier.

Contribution à la documentation des flux, schémas, lineage et catalogues de données.

🚀 Exemples d’impacts obtenus :

🔻 Réduction du MTTR de 60 % sur incidents data via monitoring intelligent et alerting prédictif

📊 Traitement de 1,5 million d’événements/seconde sur une plateforme de surveillance marché gris

⚙️ Réduction du temps de génération de reporting de 6h à 20 min via automatisation Python + API Tableau

🧠 Mise en place d’un modèle ML de prédiction des zones à risque (contrefaçon, rupture de chaîne logistique)

📊 Plateforme de surveillance du marché gris – Traitement en temps réel multi-industries

→ Conception et déploiement d’une solution de monitoring temps réel du marché parallèle, intégrant des sources de données fragmentées et hétérogènes.

→ Traitement de plus de 1,5 million de transactions/seconde via Kafka et Spark Streaming, corrélant anomalies de prix, volumes suspects et signaux faibles sur les produits électroniques, pharmaceutiques et de consommation.

→ Création de dashboards dynamiques sous Tableau pour donner aux clients une vision claire et activable des risques spécifiques à leur secteur.

🔍 Framework prédictif de risques et d’opportunités – Machine Learning & alerting proactif

→ Conception d’un modèle d’analyse prédictive basé sur des données de trade historiques et du machine learning, pour détecter les zones à risque, les tendances de contrefaçon et les failles dans la chaîne logistique.

→ Pipelines sécurisés sur AWS EMR et Redshift, intégrant des contraintes de sécurité et de confidentialité des données.

📈 Automatisation des reportings client – Data as a Service personnalisé

→ Automatisation de la génération de rapports personnalisés en Python, intégrée à l’API de Tableau, permettant aux clients d’accéder à des insights en self-service.

→ Réduction des temps de reporting de plusieurs heures à quelques minutes, favorisant une prise de décision instantanée et contextualisée.

⚙️ Environnement technique

☁️ Cloud : AWS (EMR, S3, Redshift, IAM)

🧪 Langages : Python, SQL, Java

⚙️ Outils & Infra : Kafka, Spark Streaming, Terraform, Ansible, Jenkins, Tableau

En tant qu’ingénieur logiciel orienté données, j’ai conçu, optimisé et maintenu des systèmes backend à forte intensité de données via une plateforme internationale de freelancing. Mon rôle couvrait la modélisation des données, l’extraction de données en temps réel, ainsi que la fiabilité des pipelines critiques pour les décisions business.

🔧 Responsabilités principales :

Développement de pipelines de données robustes pour le suivi des performances utilisateurs, les systèmes de réputation et le scoring de freelances.

Mise en place de solutions de data warehousing avec PostgreSQL et Redshift pour les équipes marketing et produit.

Refactoring du backend (Node.js & Python) pour séparer les responsabilités métier et données (Clean Architecture).

Intégration de tests unitaires et end-to-end pour garantir l’intégrité des traitements de données critiques.

Collaboration avec les équipes produit, marketing et support pour traduire des besoins business en logique backend structurée.

🚀 Résultats notables :

📉 Réduction du temps de génération des rapports de 6h à 20 minutes.

🔄 Mise en place d’un pipeline ETL automatisé avec Airflow et SQL sur AWS, améliorant la fraîcheur des données de +85%.

🛠️ Participation à la migration d’un monolithe vers une architecture orientée services (Node.js microservices).

🧠 Amélioration des outils internes de décision grâce à des métriques sur la qualité des freelances, utilisées pour alimenter l’algorithme de ranking.