Description

Je suis un grand passionné de la data depuis 2010, j'aime affronter les nouveaux challenges, partager mon savoir faire et apprendre des autres.

Je fais régulièrement de la veille technologique pour remettre à jour et à niveau.

Langues

Français
Bilingue ou natif

Préférences en matière de lieu de travail

En télétravail uniquement

Travaille majoritairement à distance

SNCF
Consultant big data
TRANSPORTS
mars 2018 - Aujourd'hui (8 ans et 3 mois)
Stade de France, Saint-Denis, France
Programme BDT : Migration des applications BDV, BDT, BDI et BDR
Rôle : Lead Dev
Objectifs :
 Participation aux ateliers de réversibilités Passives / Actives.
 Migration des applications développées en Hql sur HDI vers AKS en Spark Scala.
 Développement des DAGs AirFlow pour l’orchestration des traitements.
 Développement des pipelines ADF pour l’équipe DataViz.
 Rédaction de la documentation technico-fonctionnelle.
 Correction des anomalies sur les applications Hql en GEN1.
 Organisation des ateliers de montées en compétences et amélioration continue.

Autres missions au sein du groupe SNCF
Projet-1 : BREHAT INCIDENT / BREHAT Mobilité
 Développement d’un job Spark pour parser les données au format XML en format CSV et les ingérer dans une base
relationnelle
 Développement de tests unitaires
 Développement des procédures stockées en SQL pour l’update des tables
 Rédaction de la documentation technique et fonctionnelle
Projet-2 : PSS (Programme Surveillance et Supervision)
 Développement d’un job Spark pour aplatir les metadata au format XML et les ingérer dans une base relationnelle
 Développement de tests unitaires
 Développement des procédures stockées en SQL pour l’update des tables
 Développement d’un Dashboard QlikSense pour la visualization
 Rédaction de la documentation technique et fonctionnelle
Projet-3 : Zettanium
 Développement d’un job Spark pour le calcul des indicateurs sur les passages/validations et fraudes dans les
gares
 Développement de tests unitaires
 Création de job Ansible pour l’automatisation de l’environnement de production
 Rédaction documentation technique et fonctionnelle
Projet-4 : SQCD (direction SNCF Matériel) / MRT (direction SNCF Mobilité)
 Développement des pipelines ADF de copie de données depuis le BlobStorage / DataLakeStore / Data Warehouse
vers la base SQL
 Développement des procédures stockées en T-SQL
 Rédaction documentation utilisateur
 Formation des métiers pour la prise en main de l’outil ADF
 Déploiement en environnement de production
Projet-5 : DSMAT (Maintenance prédictive des trains)
 Développement de jobs Spark pour le calcul des indicateurs (durées de vie des trains)
 Développement d’un job python pour le calcul des paramètres Weibull (lois de survies)
 Développement de tests unitaires et d’intégration
 Optimisation des traitements Spark
 Rédaction documentation applicative
 Déploiement en environnement de production
 Méthode Agile Scrum
Projet-6 : NAOMI
 Développement de jobs Spark pour parser les fichiers JSON en parquet et calculer des indicateurs sur les voyages
des passagers, les tickets, les cartes d’abandonnent, les options
 Développement de tests unitaires
 Optimisation des traitements Spark pour réduire le temps de traitement
 Mise à disposition des données à l’équipe Talend
 Rédaction documentation applicative
IT NOVEM - Data Engineer Spark Scala/Python – 03/2018 – 08/2021
Alpha DIALLO [email protected] +33(0) 7 81 42 81 27
Projet-7 : QsExpert
 Recette des données de l’application QsExpert au format CSV / JSON / ORC
 Proposition d’un plan de recette aux métiers
 Développement d’un template Notebook Databricks pour l’automatisation de la recette
 Création / validation des campagnes de recettes et d’itérations dans Squash
S
CGI
Consultant Big Data
avril 2016 - Aujourd'hui (10 ans et 2 mois)
La Défense, France
Ayant une forte passion pour la Data Actuellement je travaille avec plusieurs technologies et outils Big Data : Spark, Hive, Impala, Hue, sqoop, flume, Nifi, kafka, UNIX Shell, scala, Python, Java...
Orange
Consultant BIG DATA / BI
TÉLÉCOMMUNICATIONS
novembre 2015 - août 2016 (10 mois)
Orange Erable est un projet Big data qui a pour but de collecter et transformer des données en temps réel
en utilisant des technologies Big Data.
 Rédaction d’un cahier de spécifications technico-fonctionnelles
 Rédaction d’un document de validation des tests pour la VABF (vérification d’aptitude au bon fonctionnement)
 Contribution à la mise en place de l’architecture du POC
 Prise de connaissance de l’écosystème Hadoop avec la distribution Hortonworks
 Proposition d’un workflow git à l’équipe de développement
 Développement de connecteurs (consommateur & producteur Kafka)
 Développement d’un job Spark permettant de transformer les données brutes en données raffinées
 Implémentation des connecteurs dans le serveur Kafka Connect
 Implémentation des tests unitaires
 Compilation et correction de la qualité du code source du projet avec les outils Jenkins et Sonar
 Implémentation des tests d’intégration