Safa Ben Youssef

Projet Socle Natif Hadoop :

La mission consiste en la mise en place d’architectures modernes, distribuées et hautement résilientes pour l’ensemble des entités du Groupe Crédit Agricole.

Assurer la mise en œuvre opérationnelle et techniques des produits Data

▪ BUILD des infrastructures et des plateformes CDP

▪ Gestion et administration des machines des clusters Big Data (Cloudera CDP, MapR,

Hortonworks HDP/HDF)

▪ Intégration de chaîne CI/CD dans le cluster Big Data (Jenkins, Git, Ansbile, Terraform)

▪ Développement et évolution de programmes automatisant et fiabilisant certaines tâches récurrentes liées à l'intégration et à l'administration

▪ Monitoring et maintien en condition opérationnelle des clusters (Support N3)

▪ Participation aux exercices de PSI

▪ Suivi des évolutions SP2 CDP et les patchs managements

▪ Configuration de la Haute disponibilité des services

▪ Génération des certificats SSL

▪ Configuration du HA Proxy

▪ Gestion des incidents de Production

▪ Gestion de l’astreinte sur les environnements de production

▪ Accompagnement des nouveaux recrus

Contexte L'objectif de la mission était le suivi et la gestion de la mise en place d'un cluster Hadoop sous distribution Hortonworks. Réalisations

• Assurer la mise en place d'un cluster Hadoop sous la distribution Hortonworks en documentant toutes les étapes de l'installation et de la configuration

• Gérer l'installation et la kerberisation des serveurs Vertica

• Administrer les systèmes et les services Linux

• Administrer les différents utilisateurs, et groupes via les interfaces Hue

• Gérer les habilitations des utilisateurs via Ranger

• Configurer le HA pour les services dédiés

• Assurer l'astreinte sur les environnements de production Environnement Technique : Hortonworks 3.1.0, Ranger, Tez, Knox, Active Directory, Spark, Hive, LLAP, Zookeeper, RedHat 7 Environnement Fonctionnel : Assurance

Contexte Durant cette mission, j'ai participé à la construction d'une nouvelle plateforme Big Data sous la distribution Hadoop Cloudera, qui consomme, analyse et apprend de diverses données bancaires. Un des objectifs était d'assurer la migration technique et applicative de MapR vers Cloudera. Réalisations

• Installation des serveurs et agents de Cloudera Manager, ainsi que le CDH

• Rédaction et livraison de la documentation technique durant la procédure d'installation, de déploiement et de test des différents clusters Hadoop et Kafka en production

• Déploiement de trois clusters Hadoop et trois clusters Kafka

• Sécurisation du cluster à l'aide de Kerberos, et Sentry

• Gestion des habilitations Sentry

• Construction, test et mise en production d'un Consumer/Producer Kafka

• Participation à la migration des données et des cas d'usages de MapR vers Cloudera

• Revue de l'allocation des ressources YARN en respectant la politique des Queue Environnement Technique : Cloudera: 6.3.0: Hadoop, HBase, Spark, Hive, Kafka, Solr, Cloudera Manager, Kerberos, Sentry

Environnement Fonctionnel : Banque