Ramzi B.

Projet : DIAG360: Socle applicatif pour la diagnostic permanent des systèmes d’assainissement

• Migration d’une architecture Spark AKS vers Azure Databricks

• Création d’un module IaC Diagperm qui permet de terraformer toutes les ressources Databricks (Account Storage, KeyVault, Private Link, Service Principal, Databricks Workspace, Databricks Sql Warehouse, Databricks Compute Cluster, Catalogs, shemas, Volumes, RBAC, etc..)

• Création de pipelines Azure DevOps pour le déploiement automatique des ressources Azure & Databricks Terraformées (provider : azurerm et databricks)

• Mise en place d’une stratégie hybride: Job Databricks de type dbt pour le traitement des données analytiques via Databricks SQL WareHouse et de type PySpark via Compute Cluster pour les traitements lourds et complexes

• Développement et déploiement d’un nouveau module IODA selon la nouvelle architecture médaillon et selon la Modern Data Stack (ELT)

• Orchestration du lancement des jobs Databricks de type dbt et PySpark selon l’environnement d’exécution (dev, rec, prod) et via Databricks Asset Bundles (DAB), intégrée à une architectureevent-driven

• Conception d’un pipeline d’ingestion avec Azure Data Factory pour collecter les données web des piézomètres et les stocker dans un conteneur Blob Azure dédié.

...

Environnement: Azure Databricks (Jobs, Clusters, SQL Warehouses, Unity Catalog, shema, Notebook, External Location, Volumes), Azure DevOps (repos, pipelines, releases), Azure Kubernetes Service, Lens, Azure Monitor, Azure Event Grid, Azure Functions, Azure Cost Management, Log Analytics, Spark 3.5, Python 3.10, DeltaLake 2.2, Azure Data Lake Storage Gen2, Azure Blob Storage, Azure Active Directory, Azure Portal, Azure Data Factory, IaC, Terraform HCL, dbt(Models, Sources, Macros, Tests), IoT, Power BI, Power BI Desktop, DAX, DirectQuery, DLT

Projet : STRESS TESTING RISK: Socle applicatif pour mesurer la capacité de résistance de la banque à des stress financières et économiques

• Implémenter et développer un nouveau module Flair (Gestion de multi Stress), avec la mise en place des best practices de développement Spark/Scala/Java

• Etudier et implémenter une solution technique pour assurer la montée en charge de

l'application Icaap (passer de 30K à 100K scenarios): optimisation du code, tuning conf Spark

• Tuning de la scalabilité et la performance des applications Moteurs Spark (partitionnement, data skew, broadcast, conf Spark, DAG, jvm memory)

...

Environnement: Spark 2.4,7, Scala 2.11.12, Spark SQL 2.4.7, HDP 2.6.5, CDP 7.1.7, Hive 3.1, Hadoop 3.1, HDFS 3.1, Yarn 3.1, ZooKeeper 3.5, Oozie 5.1, Hue 4.5, Knox 1.3, Ranger 2.0, Tez 0.9, Cloudera Manager 7.1, Python 2.7, Dataiku 10.0, PySpark, Jupyter, JDK 1.8, Spring 5.0.5, Maven 3.6, Git, Jenkins Pipeline, SonarQube

Projet : AXE-INTERNET: Socle transverse assurant l’authentification des applications Internet et Mobile du Crédit du Nord

• Mettre en place l’architecture applicative Big Data pour l’alimentation du socle d’alerting ALS, Configuration et développement des différentes briques.

• Développement d’un module pour la détection des fraudes par l’analyse des logs applicatives

• Développement et planification des jobs Spark pour l’extraction des statistiques d’opération depuis Data Lake

• Refonte du système de collecte des logs applicatifs basé sur SyslogNG, par leur stockage et traitement au sein d’un cluster Hadoop

...

Environnement: Redis, Redisson 3.10, Spark 1.6, SyslogNG, Log4J, Kafka Appender, Kafka 2.1, Spark Streaming 1.6, JDK 1.8, Scala 2.10, Spark submit, Hive 2.1, Hbase 1.2, Hadoop 2.6, HDFS, Yarn 5.0, ZooKeeper 3.4, Oozie 4.10, Maven 3, NoSQL, LDAP, WebLogic server 10.3