You're seeing this page as if you were . The main menu is still yours, though. Exit from immersion
Erwan D.ED

Erwan D.

Data Engineer & Architecte

750 €/jour
3 projets
Toulouse, FR
3-7 ans

Délai de réponse moyen : 1h

À propos de Erwan

Data Engineer & Architecte (logiciel / data / infra)

Curieux et tenace : j’adore creuser loin dans le code, remonter les chaînes d’appels, fouiller la doc et les issues, et traquer la micro-optimisation qui change tout. On me mandate pour simplifier, stabiliser et accélérer des plateformes data existantes — et laisser l’équipe avec des outils compréhensibles et durables.

Expérience
Actif depuis 2019, j’ai évolué entre back-end temps réel, data pipelines lourds et rendu/traitement haute performance. Succès typiques : remettre d’équerre des collectors et jobs batch, lever les goulots (partitionnement, compaction, skew, mémoire), fiabiliser du streaming et industrialiser sur Kubernetes (images propres, CI/CD, secrets, stockage). Je navigue bien entre diagnostic et mise en production, avec un vrai soin de la lisibilité, des tests et de l’observabilité.

Compétences clés
• Data engineering : Spark (batch / Structured Streaming), Kafka, Hive/Parquet, Iceberg/Delta, S3/MinIO
• Langages : Scala, Java, (Python en appui)
• Plateforme : Kubernetes / Spark Operator, Docker, CI/CD (GitLab/GitHub), Grafana/Prometheus/ELK, Argo Workflow, Helm

Open-source & projets perso
Je contribue et publie régulièrement : développement d’un connecteur InfluxDB pour Trino, contributions à Argo Workflows. Pour m’émanciper techniquement, je développe aussi des apps Flutter (lecteur de news dopé à l’IA générative).
Côté R&D perso : ray tracer en Scala, algos de compression, interpréteur/VM en Scala Native, binding OpenCL en Java, moteur 3D C++/OpenGL (GitHub : k3rnL). Ces projets nourrissent mon approche de la performance, des algorithmes et de l’architecture bas niveau.
  • Français

    Bilingue ou natif

  • Anglais

    Bilingue ou natif

  • Ukrainien

    Capacité professionnelle limitée

Accepte de travailler sur site
Toulouse (jusqu’à 15 km)

Expériences

  • CLS
    Data Platform Engineer — Product Owner
    EDITION DE LOGICIELS
    juin 2023 - Aujourd'hui (3 ans)
    Toulouse, France
    Plateforme Big Data pour l’analytique maritime (AIS) : ingestion, stockage et requêtage à l’échelle. Je travaille sur la fiabilité, la performance et le coût de l’écosystème (batch & streaming), avec un fort volet observabilité et industrialisation Kubernetes.

    Réalisations clés
    • Modernisation du lakehouse : schémas évolutifs, gestion des partitions et compaction, gouvernance légère, migration progressive vers des formats de table modernes.
    • Optimisation Spark/Trino : partitionnement pertinent, tailles de fichiers, réduction du skew, tuning shuffle/cache, règles SQL, stratégie de tri/cluster pour accélérer les scans sur données AIS.
    • Pipelines streaming (Kafka + Spark Structured Streaming) : reprise contrôlée, backpressure, reprocessing, SLA, runbooks d’exploitation.
    • Industrialisation sur Kubernetes : Spark Operator, images propres, CI/CD, secrets, stockage objet, chart Helm
    • Observabilité & fiabilisation : métriques/logs/traces, tableaux de bord (perf & coûts), alerting, SLO/SLA, durcissement des bonnes pratiques (tests, revues, documentation concise).

    Stack & pratiques
    Spark, Trino, Kafka, Kubernetes/Spark Operator, Docker, S3/MinIO, Iceberg/Delta, Hive/Parquet ; Grafana/Prometheus/ELK ; Helm/Helmfile ; Terraform
    Scala, Java • CI/CD GitLab/GitHub • Perf & optimisation, DDD
    Scala Spark Helm Kubernetes Java
  • Living@Object
    Data Engineer
    EDITION DE LOGICIELS
    juin 2020 - juillet 2022 (2 ans et 1 mois)
    Toulouse, France
    Équipe Data Collection (pilier produit) pour de grands opérateurs télécom : conception et mise en œuvre d’un nouveau collecteur temps réel, industrialisation et outillage, avec de très forts volumes (To/jour) et une exigence de zéro perte.

    Réalisations clés
    • Architecture & développement du nouveau collecteur, puis industrialisation (routines, packaging, déploiement), pilotage technique de l’équipe. 
    • Déploiement ~50 projets (sur ~250 en prod) en remplacement progressif de l’ancien collecteur. 
    • MCO de l’existant (anciens collecteurs) et outils utilitaires : copieur de bases haut débit/haute compatibilité, outil de synchro “type rsync” adapté métier. 

    Stack & pratiques
    Scala/Java/Python, Spark, Kafka, Hadoop/HDFS (Cloudera), ClickHouse, PostgreSQL, MySQL, Impala, Bash • Optimisation perf & algos, CI/CD, qualité et fiabilité d’ingestion.
    Java Scala Spark ClickHouse Lead Developer
  • Capgemini DEMS France S.A.S
    Stage
    CONSEIL & AUDIT
    novembre 2019 - avril 2020 (6 mois)
    Toulouse, France
    Projet tour de contrôle aérien (petits à grands aéroports).
    Contexte à fortes contraintes de performance et de compatibilité : parc matériel/logiciel ancien (Linux 2.6, OpenGL 2.0, 512 Mo RAM). Équipe de 6 personnes.

    Réalisations clés
    • Conception d’un moteur 2D optimisé pour le rendu radar et intégration dans l’app existante.
    • Passage de 10–50 FPS (selon charge) à 60 FPS (limite système) après migration du rendu.

    Stack & pratiques : C/C++, GLSL, Qt, Bash/Python • OpenGL • Architecture & techniques de rendu.
    C++ OpenGL Qt

Avis

5,0

sur 3 évaluations

T

Thomas

Mariette

Avis laissé le 08.04.2022

Un grand merci pour ce service de qualité !
D

Damon

Whirlwind3D

Avis laissé le 12.01.2022

Erwan did excellent programming work and completed the work promptly. His communications were always clear. I highly recommend Erwan to anyone needing computer programming work.

Recommandations

Soyez le premier à recommander Erwan

Contribuez à la réussite de ce freelance en partageant votre expérience de collaboration avec lui.

Ces profils de freelance correspondent également à vos critères

AgathaA

Agatha Frydrych

Backend Java Software Engineer

4.7

(3)

2

BaptisteB

Baptiste Duhen

Fullstack developer

4.6

(4)

5

AmedA

Amed Hamou

Senior Lead Developer

4

(2)

7

AudreyA

Audrey Champion

Web developer

4.3

(3)

4

Formations

  • Ingénieur
    EPITECH - European Institute of Technology
    2020
  • BAC Pro SEN
    Lycée Renne bonnet
    2014

Compétences

Catégories