Robin Fromentin

J’ai travaillé sur des flux de données et mise à disposition d’objets dans la base de données Snowflake à l’aide d’un outil d’ETL appelé Semarchy xDI.

J’ai également pu travailler à la mise en place de l’outil SQLMesh afin de réaliser des pipeline de données sur une architecture en médaillon.

J'interviens sur tout le périmètre Data Snowflake de l'entreprise.

Snowflake est utilisé comme Data Warehouse et centralise les données de l'entreprise.

Je suis arrivé afin de continuer la mise en place de celui-ci.

Mes missions étaient de récupérer les données opérationnelles de l'entreprise en temps réel en développant des flux ESB et batch Talend vers un blob Storage Azure.

Puis développer des pipelines de données fil de l'eau via Snowpipe, et de consolider les données dans des tables finales. Tout cela afin de mettre à disposition pour les outils de Dataviz, ou pour l'entrainement de modèles IA.

J'étais responsable de toute la partie administration et référent des données disponibles dans Snowflake.

Tout d'abord, je suis arrivé chez Chronodrive pour la mise en place d'un projet d'alimentation d'un Data Warehouse MySQL avec des données issues de sources opérationnelles. Le but étant de constituer un référentiel de données consolidées et croisées entre les différences sources afin de répondre à des besoins métiers d'analyse de données. Ma mission consistait également à optimiser les flux de données déjà présents, à les faire évoluer (TMA) et à gérer le RUN quotidien.

Ma mission a ensuite évoluée suite à la volonté de Chronodrive de passer sur un Data Warehouse plus performant. J'ai pris part aux POCS et comparatifs des solutions envisagées : Snowflake a été choisi. J'ai pris part à des ateliers pour définir la nouvelle architecture de cette plateforme DATA avec l'ensemble des décideurs et parties prenantes.

Ces ateliers ont débouchés sur la création de toute l'architecture de la base de données Snowflake, mais également sur la création d'un repository cloud Azure qui permettra de faire transiter les données vers Snowflake. Je me suis occupé de cette configuration et de la création de cet environnement.

J'ai développé des flux génériques permettant de récupérer les données des environnements opérationnels afin d'alimenter Snowflake, le but étant de ne gérer que du paramétrage et non autant de flux de données que d'entités à récupérer (tables, fichiers etc...).

-> flux génériques : extraction des données des sources opérationnelles vers un Blob Storage Azure.

-> flux générique : importation les données des fichiers dans Snowflake.

-> flux générique : transformation et nettoyage de la donnée entre deux schémas de Snowflake.

-> flux de données par table consolidée, qui venait croiser celles-ci, les agréger et effectuer des calculs (pour la Dataviz & Data Science