Mohammed T.

Au sein de l'équipe PCM (Professional coffee machine) je suis amené à concevoir et implémenter des pipelines data et jobs spark afin d'alimenter le datawarhouse et construire des Dashboard/rapports dataviz pour les différents clients qui utilsent ces machines à café pro.

👉Data engineering tech lead

• Interface avec l’équipe backend pour gérer les changements au niveau de la source de données et anticiper les impacts techniques

• Accompagnement des nouveaux DE entrants

• Rédaction des technical story

• Pair programming

• Révision des pull request

• Release delivery (bran

👉Data pipelines

• Design et développement des jobs spark d’ingestion pour les télémétries et les twins et les données de référence

• Design et développement des jobs spark(mode full-process) de transformation selon les règles de gestion métier et exposition via des tables SQL/Synapse pour les Dashboard PBI

• Design et développement job spark pour l’entité management

• Design et Développement des jobs spark de transformation (mode delta-process) (pipeline d’initialisation + pipeline delta-process)

• Design et Développement des pipelines data pour les tables agrégées : pipeline préparation golden-data, pipeline calcul d’agrégation (Daily, Monthly, Weekly), pipeline d’exposition des tables agrégées

• Optimisation des jobs de transformation

👉Data stack

• Intégration de Azure Synapse avec l’ARM sur la platforme de données

• Upgrade des versions spark (projet spark + run-time spark)

• Dimensionnement du Sparkpool selon le cas d’usage pour le run-time des pipelines data

• Configuration du transfert des logs spark vers log Analytics

• Mise en place du monitoring pour les pipelines data/spark

• Intégration delta Lake au niveau des jobs spark et implémentation de la pipeline Vaccum

J'ai intervenu en tant que professionnel de la donnée afin d'évaluer les soutenances des projets de fin d'études (Bac+5) Data et intelligence artificiel

Data Engineer au sein de l’équipe DataLake

👉Data Pipelines

👉👉Traitement Batch :

• Design et développement des jobs d’ingestion Spark/scala

• Design et développement des jobs Spark/scala de la RGPD (Génération de clés, cryptage, droit à l’oublie)

• Design et Développement des DAG Airflow pour les jobs d’ingestion (RGPD conforme)

• Développement des formules Salt pour la création des Tables et Vues Hive

• Développement des formules Salt pour la création des Tables Phoenix/Hbase

• Développement du job Spark pour le compactage des blocs HDFS de petite taille

👉👉Traitement streaming :

• Développement des workflow Nifi pour la collecte des events (données référentielles sport) puis buffering dans topic kafka et traitement en Spark streaming ainsi que la restitution dans Hbase

• Développement d’un job Spark streaming pour l’enrichissement des alertes sport par les données référentielles

👉Data stack

Modélisation et implémentation de la couche batch du DataLake sur l’env de DEV

• Modélisation et implémentation de la plateforme data science (Jupyter, Hue) sur l’env de DEV

• Modélisation et implémentation de la couche speed(nifi/kafka/elastic) du DataLake sur l’env de DEV et Pre-prod

• Etude et Migration du DataLake Prod (couche batch) vers un nouveau VLAN

• Développement/MEP des Formules Salt pour l’arrêt et démarrage de l’ensemble des services de la couche batch

• Développement/MEP des formules Salt pour le test unitaire des services de la couche batch du DataLake

• Troubleshooting et Correction des Anomalies et incidents

👉Industialisation Data science

• Développement d’un modèle de projet data science pyspark industrialisé (projet modulaire + test unitaire + CI/CD)

• Démo pour les data scientiste sur l’industrialisation de la Data science