Ayoub Mbarek

Dans le cadre de la gestion des applications critiques chez SFR, j'ai contribué au développement d'un système de gestion des alarmes, visant à centraliser et automatiser la gestion des incidents issus de sources diverses (Prometheus, Shenken, Vtom, etc.), afin d'améliorer la réactivité et réduire les interventions manuelles.

Missions et Réalisations :

- Développement du moteur Python : Centralisation des alarmes en temps réel via Kafka et traitement des données avant stockage dans MongoDB.

- Microservices asynchrones : Conception avec FastAPI et asyncio pour la gestion des tickets d'incidents et l'automatisation des tâches correctives.

- Gestion de la concurrence : Utilisation de semaphores pour gérer la concurrence dans les microservices.

- Interface de supervision : Création d’un dashboard Grafana pour la visualisation en temps réel de l’état des services.

- Remédiation automatique : Implémentation de mécanismes de remédiation dans Airflow pour créer des tickets ou escalader en cas d'incident critique.

- Orchestration et déploiement : Déploiement des microservices avec Kubernetes et Helm, gestion des pipelines CI/CD avec GitLab.

- Automatisation des logs : Mise en place de l'ELK Stack via Ansible pour l'automatisation de la gestion des logs.

- Collecter des données de sources diverses et modéliser ces données pour en simplifier la visualisation et l'analyse.

- Gestion des workflows complexes : Développement de processus d'extraction de données via Airflow pour gérer les workflows de manière fiable.

Environnement Technique :

Langages/Frameworks : Python, FastAPI, asyncio, SvelteKit

Bases de données : MongoDB

Outils de Monitoring/Visualisation : Grafana, Prometheus, Kibana

Orchestration/Conteneurisation : Kubernetes, Helm, Docker

Automatisation/CI/CD : Ansible, GitLab CI

Flux de données : Kafka

Planification/Remédiation : Airflow

Contexte :

Développement d'une solution centralisée pour surveiller et réduire les vulnérabilités en consolidant les données des serveurs et postes de travail, avec une interface de recherche en langage naturel et des visualisations avancées.

Réalisations clés :

Collecte et traitement des données :

- Développement d'un moteur Python personnalisé pour extraire des données de SQL Server et d'API RESTful.

- Optimisation des requêtes SQL et indexation dans Elasticsearch pour améliorer les performances.

- Automatisation de la mise à jour quotidienne des index Elasticsearch avec traitement asynchrone via asyncio et aiohttp.

Développement d'API et intégration de l'IA :

- Création d'API sécurisées avec FastAPI pour exposer les données consolidées.

Intégration de l'API OpenAI pour une recherche intelligente en langage naturel.

Développement Frontend et visualisation :

- Interface interactive avec Streamlit pour les recherches intelligentes.

Tableaux de bord avancés avec Kibana pour les analyses prédictives.

Archivage et stockage des données :

- Automatisation de l'archivage vers AWS S3 avec gestion du multithreading.

Observabilité et supervision :

- Mise en place de systèmes de surveillance avec Prometheus, Grafana, ELK et Nagios.

Qualité du code et collaboration :

- Application de standards de codage (Black, Pylint, Bandit) et revues de code régulières.

Documentation :

Rédaction de guides détaillés sur les flux de collecte, traitement et exposition des données.

Environnement technique :

Python, FastAPI, OpenAI API, Elasticsearch, SQLAlchemy, Streamlit, Pandas, Ansible, AWS S3, Kibana, Nagios, Prometheus, SQL Server, Red Hat, Windows, Git, Bitbucket, VSCode, Jira.

Méthodologie : Agile Scrum

Contexte :

Contribution au développement d'un outil destiné à automatiser la génération de fichiers de configuration pour la mise en place de différentes plateformes pour les ministères gouvernementaux.

Réalisations clés et responsabilités :

Automatisation des fichiers de configuration

- Conception et automatisation de la génération de fichiers YAML pour une intégration transparente avec Puppet, simplifiant ainsi la gestion des configurations sur les serveurs.

Développement et validation

- Création et exécution de tests fonctionnels avec Selenium, garantissant la conformité aux exigences de l'application et une expérience utilisateur optimale.

- Développement de fixtures de base de données avec Django ORM pour interagir avec PostgreSQL, facilitant la création d'un environnement de test fiable.

- Implémentation de tests unitaires avec Unittest afin d'assurer une couverture de code robuste et une détection précoce des bogues.

Collaboration et qualité

- Collaboration étroite avec les architectes du projet pour identifier et corriger les bogues, améliorant ainsi la qualité et les performances de l'application.

Déploiement et orchestration

- Intégration et utilisation d'OpenShift pour orchestrer et déployer les plateformes générées, garantissant une gestion optimale des conteneurs et des applications dans un environnement cloud hybride.

Automatisation CI/CD

- Mise en place et maintenance d'un pipeline CI/CD avec GitLab CI, automatisant les processus de test et de déploiement pour assurer des livraisons rapides et fiables.

Environnement technique :

Technologies : Python, Django Framework, Django Rest Framework, Selenium, PostgreSQL, JSON, OpenShift.

Outils : Git, GitLab CI, flake8, Unittest, coverage, Puppet.