Sakaria Diarrassouba

End-to-End Automated Implementation of a Data Engineering System on Real Data

Contexte :

Développement d'une solution end-to-end de collecte et d'analyse en temps réel des données

météorologiques et d’utilisateurs fictifs, visant à créer un système de monitoring automatisé et scalable

dans le cloud. Article ici

Objectif :

• Mettre en place une architecture scalable, fiable de la data moderne

• Concevoir des pipelines ETL robustes et visualiser les données en temps réel.

• Automatiser les workflows sans interventions manuelles et assurer une exécution continue

Réalisations :

- Intégration des API Weather et Random User pour collecter les données météorologiques et des

données démographiques fictives, garantissant une ingestion rapide et continue.

- Développement de pipelines robustes pour transformer les données brutes et les ingérer dans

Bigquery pour des traitements analytiques rapides et fiables.

- Automatisation des workflows avec des Airflow DAG, permettant une exécution régulière et sans

interruption.

- Utilisation de Docker Compose pour orchestrer les conteneurs, simplifier le déploiement et la

maintenance.

- Déploiement complet des processus sur une machine virtuelle (VM) automatisée à l’aide de

Terraform pour assurer une gestion scalable et reproductible de l’infrastructure.

- Création de tableaux de bord interactifs avec Looker Studio, offrant une vue claire des

températures et la distribution démographique des utilisateurs par pays en temps réel.

- Documentation et partage des connaissances sur Médium détaillant tout le projet.

Environnement technique:

Python, SQL, Pyspark, Kafka, Airflow, GCP, Bigquery, Looker Studio, Terraform, Docke

Contexte : Dans le cadre de sa transformation numérique, Hutchinson souhaitait moderniser sa gestion des données manufacturing pour optimiser la collecte et l'analyse des données industrielles dans le cloud Azure. Objectif :

• Optimiser les processus d'ingestion et de transformation des données manufacturing.

• Garantir l'intégrité, la cohérence et la fiabilité des données dans l'ensemble du pipeline

• Analyse de la qualité et fiabilité des données dans le cloud Réalisations :

• Configuration et déploiement d'Apache Nifi pour automatiser et garantir un flux continu des données dans le système d'ingestion des données.

• Intégration d'un système de surveillance pour détecter les anomalies dans les flux de données. Gestion et optimisation de la performance des requêtes SQL pour la configuration du pipeline d'ingestion des données. Développement de scripts KQL pour le processus de transformation des données.

• Traitement des anomalies des anomalies des données dans le cloud. Conception de Dashboard pour le monitoring de la qualité des données. Environnement technique : SQL, KQL, GitHub, SQL-Sever, Git, Nifi, Python, Azure, Broker MQTT, SQL-Server

Dans le cadre de sa transition vers des solutions cloud, Orange Caraïbes a entrepris la migration complète de son infrastructure BI et de ses bases de données vers GCP, visant à réduire les coûts d'infrastructure, améliorer les performances des traitements analytiques et faciliter l'intégration de nouvelles solutions de reporting. Objectif :

• Migrer des bases de données Oracle vers Bigquery

• Convertir les scripts PL/SQL vers le SQL standard de Bigquery tout en préservant leurs fonctionnalités et performances.

• Automatiser et optimiser les processus de validation, de déploiement et de monitoring des pipelines dans l'environnement GCP. Réalisations : Mise en place d'un pipeline automatisé pour transférer une partie des données critiques vers Bigquery.

• Transcriptions des packages PL/SQL complexes en SQL standard compatible dans Bigquery, ainsi que l'optimisation de la performance des requêtes SQL complexes.

• Effectuer les tests techniques avec le DBA pour garantir la cohérence et l'intégrité des données.

• Migration complète des données d'Oracle vers Bigquery via des flux continus basés sur Cloud Function et Workflows, garantissant la synchronisation en temps continue.

• Contribuer et mise en œuvre de pipelines CI/CD pour valider, tester et déployer automatiquement les packages migrés, améliorant ainsi l'efficacité et la qualité des livrables.

• Collaboration avec les équipes BI et métier pour assurer une transition fluide et garantir les rapports Environnement technique : GCP, SQL, KQL, Gitlab, PL/SQL, Git, Bigquery, Python, Cloud Function, Workflows, Cloud Registry