Nous mesurons l'audience du site pour l'améliorer, sans usage publicitaire. En savoir plus

Aller au contenu
Konvenable
Vous recrutez ?

Data Engineer Senior - Databricks / PySpark (H/F) - Freelance

Collective.work · 75 - Paris

Collective.work

Évaluation disponible

Voir l'offre & postulerÉvaluation IA · 15 min

Cette offre correspond-elle à votre profil ?

Sans compte : comparez l'offre à votre CV, ou répondez à trois questions.

Préparez votre candidature

Adapter mon CV à cette offre

Score ATS pour Collective.work

Préparer l'entretien

Simulateur IA calibré sur le rôle · 15 min

Description du poste

Taux journalier (TJM): 450

CONTEXTE DE LA MISSION

Nous recherchons un Data Engineer expérimenté spécialisé dans l'écosystème Databricks, capable de concevoir, développer et industrialiser des pipelines de données performants dans un environnement Cloud.

Le consultant interviendra sur des projets Data à forte valeur ajoutée, avec des enjeux de performance, de gouvernance, de qualité et de fiabilité des données.

RESPONSABILITÉS

  • Concevoir et développer des pipelines de données complexes en PySpark et Spark SQL, en mode batch et streaming.
  • Implémenter et maintenir une architecture Medallion (Bronze / Silver / Gold) basée sur Delta Lake.
  • Orchestrer et superviser les traitements via Databricks Workflows, Azure Data Factory ou Airflow.
  • Optimiser les performances et les coûts des traitements Spark : partitionnement, Z-Order, gestion des clusters et Photon.
  • Mettre en œuvre la gouvernance des données avec Unity Catalog : gestion des accès, data lineage et qualité des données.
  • Industrialiser les développements et déploiements à travers des pipelines CI/CD et des pratiques DevOps.
  • Participer à la mise en place de l'Infrastructure as Code avec Terraform et à la gestion des Databricks Asset Bundles.
  • Collaborer avec les équipes Data Analysts et Data Scientists pour fournir des datasets fiables, documentés et exploitables.

PROFIL RECHERCHÉ - MUST HAVE

  • Minimum 3 à 5 ans d'expérience en Data Engineering, dont au moins 2 ans d'expérience concrète sur Databricks.
  • Excellente maîtrise de Python, PySpark et Spark SQL.
  • Expérience significative dans la conception et l'industrialisation de pipelines ETL/ELT sur Databricks.
  • Bonne maîtrise de Delta Lake et de l'architecture Medallion.
  • Expérience pratique de Unity Catalog et des mécanismes de gouvernance des données.
  • Solide compréhension des mécanismes d'optimisation Spark et de gestion des performances.
  • Expérience sur un environnement Cloud : Azure (ADLS, Azure Data Factory) idéalement, ou AWS / GCP.
  • Maîtrise de Git, des pratiques CI/CD et des tests automatisés appliqués aux pipelines Data.

ATOUTS

  • Certification Databricks Data Engineer Associate ou Professional.
  • Expérience en streaming avec Kafka et/ou Spark Structured Streaming.
  • Connaissance de dbt et/ou MLflow.
  • Expérience dans le secteur bancaire ou dans un environnement réglementé.

ENVIRONNEMENT TECHNIQUE

Databricks, PySpark, Python, Spark SQL, Delta Lake, Medallion Architecture, Unity Catalog, Databricks Workflows, Azure Data Factory, ADLS, Airflow, Spark Optimization, Z-Order, Photon, Git, CI/CD, Azure DevOps, GitHub Actions, GitLab CI, Databricks Asset Bundles, Terraform, Kafka, Structured Streaming, dbt, MLflow.

Détails de l'offre

Lieu

75 - Paris

Contrat

Profession libérale

Expérience

Débutant accepté

Publié

Évaluez vos compétences pour ce rôle

5-8 min en chat · scorecard partageable

Commencer la session

Offre initialement publiée sur France Travail. Voir l'annonce d'origine · Cette offre est la vôtre ?

Collective.work

TechÉvaluation disponible

Lieu

75 - Paris

Contrat

Profession libérale

Expérience

Débutant accepté

Publié

Cette offre correspond-elle à votre profil ?

Sans compte : comparez l'offre à votre CV, ou répondez à trois questions.

Offres similaires

D'autres rôles qui pourraient vous intéresser

Assistant / Assistante technique d'études en recherche (H/F)

CNRS · 75 - Paris 17e Arrondissement

Conducteur ou conductrice de lots travaux télécoms (H/F)

SNCF RESEAU · 75 - Paris 19e Arrondissement

Consultant Formateur Digital H/F

85 - Roche-sur-Yon

Ingénieur(e) Logiciel Senior C++ Python H/F

XENOCS · 38 - Grenoble

Données marché

Salaires et marché : Architecte cloud à Paris

Médiane, fourchette p25–p75, entreprises qui recrutent et compétences demandées — données live du marché Architecte cloud à Paris sur Konvenable Pulse.

Voir le marché dans Pulse