Senior Data Ops / Data Platform Engineer - Freelance (H/F)

CONTEXTE

Pour le compte d'un grand groupe, nous recherchons un Senior Data Ops / Data Platform Engineer pour rejoindre une équipe en charge du Datalake et de la plateforme Data.

Cette équipe porte notamment les sujets de stockage, métadonnées, catalogage et gouvernance technique du patrimoine Data. La plateforme est utilisée par différentes populations Data : Data Engineers, Data Analysts, Data Scientists et autres utilisateurs de la donnée.

Un enjeu majeur de la mission concerne l'évolution du modèle actuel de stockage et de catalogage vers une approche davantage unifiée autour de Databricks Unity Catalog.

MISSIONS

Data Platform & Storage

Garantir la robustesse et la disponibilité de la plateforme Data

Administrer et faire évoluer les environnements de stockage AWS S3

Monitorer la plateforme et mettre en place des actions proactives

Contribuer aux sujets de continuité et de reprise d'activité

Infrastructure & Data Ops

Déployer et maintenir les ressources d'infrastructure via Terraform

Participer à l'industrialisation des déploiements et aux pratiques CI/CD

Assurer le support technique autour de S3, AWS Glue et Databricks

Collaborer étroitement avec les équipes infrastructure et Data

Metadata & gouvernance

Participer à l'évolution du metastore et au déploiement de Unity Catalog

Travailler sur les problématiques de catalogage, métadonnées et gestion des accès

Contribuer à l'automatisation de la gouvernance Data

Participer à l'activation et à l'exploitation des fonctionnalités de Unity Catalog : lineage, managed tables, gestion des droits, etc.

Accompagnement des équipes

Définir et promouvoir les bonnes pratiques d'utilisation de la plateforme

Accompagner les équipes Data dans leur utilisation du Datalake

Conseiller les équipes lors de la conception de leurs pipelines et de leurs usages de la plateforme

OUTILS & ENVIRONNEMENT

AWS, avec une expertise forte sur S3

Databricks

Terraform / Infrastructure as Code

Unity Catalog ou expérience significative des problématiques de metastore/catalogage

AWS Glue

CI/CD / Git

Monitoring et observabilité d'une plateforme Data

Gouvernance technique de la donnée et gestion des accès

Expérience appréciée sur Hashicorp Vault, IAM, PRA/PCA ou automatisation de la gouvernance

CONDITIONS DE TRAVAIL

Localisation : Métropole Lilloise

Mission longue

Présence sur site : 3 jours pas semaines obligatoires

1. Profil senior avec une véritable expérience de Data Platform / Data Ops / infrastructure Data
2. Expertise forte sur AWS, notamment S3
3. Maîtrise de Databricks
4. Compétences en Terraform / Infrastructure as Code
5. Expérience avec Unity Catalog ou problématiques de metastore/catalogage
6. Connaissance de AWS Glue
7. Pratique de CI/CD et Git
8. Compétences en monitoring et observabilité d'une plateforme Data
9. Connaissance de la gouvernance technique de la donnée et gestion des accès
10. Un plus : expérience autour de Hashicorp Vault, IAM, PRA/PCA ou automatisation de la gouvernance
11. Qualités personnelles : autonome, fiable et proactive, avec une bonne capacité de communication et d'accompagnement des utilisateurs