Maguatte T.

Rôle : Data Engineer / Développeur Python

• Conception et développement de flux inter-applicatifs avec Apache NiFi pour l'intégration de données métiers.
• Intégration de données provenant de plusieurs systèmes internes (Cockpit, PGI, HANAIS).
• Mise en place de pipelines ETL pour l'alimentation du Data Lake achats.
• Transformation et mise en qualité des données avant leur exploitation dans les outils de reporting et d'analyse.
• Développement de scripts Python pour automatiser les traitements de données et appliquer les règles de gestion métiers.
• Développement de traitements Python pour automatiser les règles de criblage des demandes d'achat (DA).
• Implémentation de tests unitaires et tests de non-régression pour sécuriser les évolutions.
• Vérification et correction des incohérences dans les statuts des objets métiers (DA, contrats, commandes).
• Automatisation du transfert des documents vers l'espace SharePoint (BDS) utilisé par l'application Cockpit.
• Transfert automatisé des documents vers la bulle de stockage associée à l'achat concerné.
• Supervision et monitoring des flux de données en production.
• Analyse et résolution des incidents impactant les pipelines data.
• Mise en place d'alertes et d'indicateurs de suivi pour garantir la disponibilité des flux.
• Conception et développement d'un tableau de bord Power BI Online pour le suivi des demandes d'achat (DA).
• Publication et partage des rapports via Power BI Service pour les équipes métiers.
• Contribution au chiffrage et à l'estimation des tickets dans le cadre des évolutions du projet.

• Développement des pipelines ETL pour traiter les flux de données en temps réel.
• Implémentation des connecteurs Apache NiFi pour l'intégration des sources de données.
• Configuration PostgreSQL pour stocker et gérer les données de streaming.
• Écrire des scripts Python pour le prétraitement et la transformation des données.
• Mise en place des services REST pour l'interaction avec d'autres systèmes.
• Maintenances des application Python/Django avec API REST.
• Traitement des données avec Pandas
• Visualisation des données avec Matplotlib
• Utilisation Git pour le contrôle de version et la gestion du code source.
• Assurer la conformité RGPD pour la sécurité et la confidentialité des données.
• Intégration des mécanismes de gestion des événements pour les flux de données.
• Configuration des pipelines de traitement des données avec Apache NiFi.
• Développement et Optimisation les requêtes SQL
• Utilisation des pratiques Agile pour la gestion de projet et la livraison continue.
• Assurer le suivi et la gestion des incidents liés aux flux de données.
• Implémentation des tableaux de bord pour la visualisation des KPIs en temps réel.
• Intégration des API tierces pour enrichir les données de la plateforme.
• Effectuer des tests de performance pour garantir la fiabilité du système.
• Mise en place des procédures de sauvegarde et de récupération des données.

• Mise en place de pipelines ETL pour : ingestion et orchestration des flux avec Apache NiFi, collecte des logs applicatifs et métriques de performance, transformation et normalisation des données techniques, centralisation des données de monitoring dans une base analytique
• Développement de traitements Python pour : parsing et transformation des logs applicatifs, extraction des métriques de performance, préparation des datasets pour le reporting
• Production de KPI techniques utilisés par les équipes de développement et de support : temps de réponse moyen des applications, taux d'erreur des requêtes, disponibilité des systèmes, score de satisfaction utilisateur (Apdex)
• Ces indicateurs permettent d'identifier rapidement les anomalies de performance et d'améliorer la supervision des applications.
• Développement d'API REST permettant l'accès aux métriques de performance applicatives
• Mise à disposition des données pour les outils de supervision et de reporting
• Intégration des métriques dans les systèmes de monitoring de l'entreprise
• Conception de tableaux de bord Power BI pour la supervision des performances applicatives
• Création de rapports dynamiques pour les équipes de développement et de support
• Mise en place d'alertes en cas de dépassement des seuils de performance
• Formation des utilisateurs métiers à l'utilisation des tableaux de bord
• gestion de version avec Git
• documentation des flux ETL et des processus de transformation
• tests de performance des requêtes SQL et des API
• optimisation des pipelines ETL pour améliorer les temps de traitement
• participation aux rituels Agile