Data Engineer GCP - Freelance (H/F)

Taux journalier (TJM): 450-500

Au sein de la Datateam d'un acteur majeur du retail, vous opérez et faites évoluer une data platform sur Google Cloud Platform (BigQuery, Cloud Composer/Airflow, Dataform, Cloud Run, Firestore). Elle est utilisée par les data engineers des squads ainsi que par des agents IA conversationnels en cours d'industrialisation.

Votre mission consiste à maintenir la plateforme en condition opérationnelle et à la faire évoluer selon les besoins des data engineers :

Gestion des droits et de l'IAM GCP

Exploitation de Composer/Airflow et des mécanismes d'orchestration associés

Industrialisation des déploiements (CI/CD, infrastructure as code)

Suivi FinOps (coûts, stockage, optimisation)

Participation au chantier observabilité (monitoring, alerting, intégration d'un outil de data observability)

Le RUN de la plateforme repose principalement sur des demandes récurrentes : gestion des droits et accès, traitement des anomalies Airflow et sur les outils de catalogage, suivi du stockage et des coûts, supervision des flux issus des systèmes internes.

Le Data Engineer développe, construit et maintient des infrastructures de données d'un point de vue système et sécurité. Il garantit la maîtrise de la donnée et la qualité de son utilisation afin d'en faciliter l'exploitation par les équipes.

Il assure la collecte, le stockage et l'exploitation des flux de données répondant aux enjeux de l'entreprise. Il est garant de la qualité d'accès aux sources de données alimentant le Data Lake, pour faciliter le travail des équipes de Data Science. Il définit également la structure des métadonnées.

Son périmètre d'intervention porte sur les systèmes applicatifs autour de la gestion et du traitement de la donnée, ainsi que sur les plateformes Big Data, IoT, etc. Il supervise et intègre les données issues de sources multiples et contrôle la qualité des données entrant dans le Data Lake (recette, suppression des doublons, etc.).

Livrables attendus

Dossier d'architecture (ou cadre technique) des solutions de traitement des données

Un data lake adapté aux besoins actuels et futurs de l'entreprise

Une cartographie des données

Les éléments garantissant la qualité de la donnée

Compétences

Conception de l'architecture

Veille technologique

Ingénierie des systèmes TIC

Fourniture de services

Gestion des problèmes

Science des données et analyse

Gestion de l'information et de la connaissance

Gestion des risques

Gestion de la qualité des TIC

Gestion de la sécurité de l'information