Data engineer GCP Monétique - Freelance (H/F)

CONTEXTE

Récupérer les données issues de sources externes

• Utiliser la puissance du Datalake
• Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels

Mise en œuvre de la chaîne :

d'ingestion de données

de validation de données

de croisement de données

de déversement dans le datalake des données enrichies

• Développer dans le respect des règles d'architecture définies
• Développer et documenter les user stories avec l'assistance du Product Owner et des chefs de projets
• Produire les scripts de déploiement
• Prioriser les corrections des anomalies
• Assister les équipes d'exploitation
• Participer à la mise en œuvre de la chaîne de delivery continue
• Automatiser les tests fonctionnels

Aspects humains :

• Grande capacité à travailler dans une équipe, en mode Scrum / Kanban
• Bonnes compétences relationnelles et grand sens de la communication (capacité à entrer dans le détail)
• Sensible et informé des évolutions technologiques sur les piles logicielles pratiquées

MISSIONS

Récupérer et ingérer des données issues de sources externes

Valider et croiser les données

Déverser les données enrichies dans le datalake

Développer et documenter les user stories

Produire les scripts de déploiement

Prioriser et corriger les anomalies

Assister les équipes d'exploitation

Participer à la mise en œuvre de la chaîne de delivery continue

Automatiser les tests fonctionnels

1. Plus de 9 ans d'expérience
2. Maîtrise de la plateforme et environnement GCP (indispensable)
3. Connaissance de l'environnement GKE
4. Compétences en stockage : HDFS / GCS
5. Maîtrise de l'écosystème Spark / Kafka / Scala
6. Expérience en planification avec Airflow / Composer
7. Pratique des méthodologies Scrum, Kanban, Git
8. Connaissances en DWH : SQL, BigQuery, BigTable
9. Compétences en delivery : Git, Ansible, Docker, Terraform, Jenkins / Cloud Build
10. Grande capacité à travailler en équipe, en mode Scrum / Kanban
11. Bonnes compétences relationnelles et grand sens de la communication
12. Sensible et informé des évolutions technologiques sur les piles logicielles pratiquées