Expert Data Engineer Python / Apache Airflow - - CDI (H/F)
Collective.work · 75 - Paris
Collective.work
Évaluation disponible
Cette offre correspond-elle à votre profil ?
Sans compte : comparez l'offre à votre CV, ou répondez à trois questions.
Revendiquer cette offre
Renseignez vos coordonnées : notre équipe valide votre demande sous 3 jours ouvrés. — « Expert Data Engineer Python / Apache Airflow - - CDI (H/F) »
Description du poste
Salaire: 60K
Contexte de la mission
Pour le compte d'un grand groupe international évoluant dans les services financiers et l'assurance, nous recherchons un expert Python et Apache Airflow pour renforcer une équipe Data. La mission s'inscrit dans le développement et l'exploitation d'une plateforme de données cloud, destinée à collecter, transformer, fiabiliser et mettre à disposition des données pour différents usages analytiques et applicatifs.
L'environnement est distribué et international. Le consultant travaillera en collaboration avec les équipes Data Engineering, les équipes utilisatrices des données et les interlocuteurs techniques.
Objectif de la mission
Concevoir, développer, automatiser et maintenir des traitements de données robustes à l'aide de Python et d'Apache Airflow, en veillant à leur fiabilité, leur performance, leur traçabilité et leur bonne intégration dans l'écosystème data existant.
Responsabilités principales
Développement Python
Développer et maintenir des traitements de données clairs, réutilisables et testables.
Concevoir des composants permettant de collecter, nettoyer, transformer et contrôler les données.
Appliquer les bonnes pratiques de développement : qualité du code, tests, documentation et gestion des erreurs.
Analyser les incidents et corriger les anomalies rencontrées lors de l'exécution des traitements.
Orchestration des traitements avec Apache Airflow
Concevoir et maintenir des workflows automatisés pour enchaîner les différentes étapes de traitement des données.
Définir les dépendances, calendriers d'exécution, reprises sur erreur et mécanismes de surveillance.
Suivre les exécutions, diagnostiquer les échecs et améliorer la stabilité des workflows.
Optimiser les traitements afin de respecter les délais d'exécution et les niveaux de service attendus.
Intégration et circulation des données
Mettre en place des flux de collecte, de transformation et de mise à disposition des données.
Interagir avec des bases de données et des services exposés par API.
Écrire et optimiser des requêtes SQL pour extraire, contrôler ou transformer les données.
Contribuer à la cohérence des échanges entre les différentes briques de la plateforme.
Qualité, industrialisation et exploitation
Mettre en place des contrôles pour détecter les données manquantes, incohérentes ou inattendues.
Participer à l'automatisation des tests et au déploiement des évolutions.
Utiliser les outils de conteneurisation et de déploiement disponibles dans l'environnement.
Documenter les traitements, les dépendances et les procédures d'exploitation.
Contribuer à l'amélioration continue de la performance, de la sécurité et de la maintenabilité.
Collaboration avec les équipes
Travailler avec les ingénieurs data, les équipes applicatives et les utilisateurs des données.
Clarifier les besoins, proposer des solutions adaptées et partager les choix techniques.
Participer aux réunions d'équipe et aux pratiques de travail agiles.
Collaborer avec des interlocuteurs situés dans plusieurs pays.
Compétences requises
Expertise confirmée en Python pour le développement de traitements de données.
Maîtrise d'Apache Airflow pour la création, l'orchestration et la supervision de workflows.
Bonne maîtrise de SQL et expérience avec des bases de données relationnelles.
Compréhension des architectures data et des chaînes de traitement de bout en bout.
Expérience des environnements cloud ou distribués.
Pratique des tests, du contrôle de version et des processus automatisés de livraison.
Capacité à analyser des incidents et à améliorer la fiabilité des traitements.
Environnement technique
Python, Apache Airflow, SQL, bases de données, API, pipelines de données, environnement cloud, outils d'intégration et de déploiement continus, conteneurs (Docker) et orchestration de conteneurs (Kubernetes) selon le périmètre de la mission.
Profil recherché
Expérience significative en développement Python et en ingénierie
Détails de l'offre
Lieu
75 - Paris
Contrat
CDI
Rémunération
60 000 € / an
Expérience
Débutant accepté
Publié
Évaluez vos compétences pour ce rôle
5-8 min en chat · scorecard partageable
Offre initialement publiée sur France Travail. Voir l'annonce d'origine · Cette offre est la vôtre ?
Collective.work
Lieu
75 - Paris
Contrat
CDI
Rémunération
60 000 € / an
Expérience
Débutant accepté
Publié
Cette offre correspond-elle à votre profil ?
Sans compte : comparez l'offre à votre CV, ou répondez à trois questions.
Offres similaires
D'autres rôles qui pourraient vous intéresser
Assistant / Assistante technique d'études en recherche (H/F)
CNRS · 75 - Paris 17e Arrondissement
Conducteur ou conductrice de lots travaux télécoms (H/F)
SNCF RESEAU · 75 - Paris 19e Arrondissement
Consultant Formateur Digital H/F
85 - Roche-sur-Yon
Ingénieur(e) Logiciel Senior C++ Python H/F
XENOCS · 38 - Grenoble
Données marché
Salaires et marché : Expert big data à Paris
Médiane, fourchette p25–p75, entreprises qui recrutent et compétences demandées — données live du marché Expert big data à Paris sur Konvenable Pulse.
Voir le marché dans Pulse