Senior Data Engineer Databricks / PySpark - Freelance (H/F)

CONTEXTE

Pour accompagner un grand groupe international dans la modernisation de sa plateforme Data, nous recherchons un Senior Data Engineer hands-on. Vous intégrerez une équipe produit composée d'un Product Manager, de Data Engineers et d'un Data Quality Manager. L'objectif est de garantir l'accessibilité, la fiabilité et la qualité de données à fort enjeu métier.

MISSIONS

Concevoir, développer et maintenir des pipelines robustes et performants

Moderniser une stack legacy vers les nouveaux standards de la Data Platform

Développer et optimiser les traitements en SQL et Python/PySpark

Industrialiser, documenter et tester les modèles avec dbt

Concevoir et monitorer des DAGs complexes avec Airflow ou Astro

Assurer un RUN de qualité selon le principe « You build it, you run it »

Contribuer aux choix techniques, à la qualité du code et aux pratiques CI/CD

Garantir la qualité, la fiabilité et la gouvernance des données

Collaborer avec les équipes produit, métier, Infra et OPS dans un environnement Agile

OUTILS & ENVIRONNEMENT

Databricks

SQL avancé et optimisation des traitements

Python et PySpark

dbt

Airflow ou Astro

Git et les pratiques CI/CD

RUN, monitoring et résolution d'incidents en production

Connaissance d'AWS et de Scala (un plus)

CONDITIONS DE TRAVAIL

Démarrage souhaité : ASAP

Durée : Mission longue

1. Vous justifiez d'une expérience significative en Data Engineering
2. Maîtrise de Databricks
3. Maîtrise de SQL avancé et optimisation des traitements
4. Maîtrise de Python et PySpark
5. Maîtrise de dbt
6. Maîtrise de Airflow ou Astro
7. Maîtrise de Git et des pratiques CI/CD
8. Expérience en RUN, monitoring et résolution d'incidents en production
9. Une connaissance d'AWS et de Scala constitue un plus
10. Être autonome, proactif et engagé, avec une forte appétence métier
11. Savoir proposer des solutions simples et efficaces, documenter les développements et communiquer avec des interlocuteurs techniques et fonctionnels
12. Un anglais professionnel, notamment à l'écrit, est demandé