Data Engineer spécialisé Data Streaming (Apache Flink / Kafka) - 7 ans ou plus - Freelance (H/F)

Contexte :

Dans le cadre du développement et de l'évolution de la Group Data Platform (GDP), le client recherche un Senior Data Engineer disposant d'au moins 7 ans d'expérience en Data Engineering, avec une expérience confirmée dans la conception et la mise en production de produits de données temps réel.

Intégré à l'équipe Group Data Delivery, le consultant interviendra sur la conception, le développement et l'exploitation de pipelines de données en streaming ainsi que des services permettant leur exposition aux consommateurs internes et externes.

Il prendra en charge le cycle de vie complet des produits de données, de l'ingestion au traitement des flux jusqu'à la mise à disposition via des API, en garantissant leur qualité, leur sécurité, leur observabilité et leur fiabilité en production.

Missions principales

Concevoir et développer des produits de données temps réel de bout en bout avec Apache Flink, Apache Kafka et des architectures événementielles.

Construire et exploiter des pipelines résilients d'ingestion, de traitement, de transformation et de distribution des données en temps réel et en batch.

Développer des API REST, des interfaces OpenAPI, des microservices et des interfaces de streaming.

Exploiter les services AWS : MSK, Kinesis, Managed Service for Apache Flink, Lambda, API Gateway, ECS, EKS, S3 et IAM.

Mettre en place des contrôles de qualité des données, des modèles de données, une gouvernance des schémas et des processus de validation automatisés.

Concevoir et maintenir des pipelines CI/CD avec GitLab CI, GitHub Actions ou des outils équivalents.

Garantir l'observabilité des solutions à l'aide de CloudWatch, OpenTelemetry, Prometheus, Grafana, du logging structuré, des métriques et du tracing.

Assurer le suivi opérationnel des services conformément aux SLA : supervision, gestion des incidents, optimisation des performances et analyse des causes racines.

Appliquer les bonnes pratiques de sécurité : authentification et autorisation OAuth2/OIDC, chiffrement, gestion des secrets et principe du moindre privilège.

Rédiger la documentation technique, les dossiers d'architecture, les spécifications API et les procédures d'exploitation.

Traduire les besoins métiers en conceptions techniques robustes et évolutives.

Participer aux choix d'architecture, réaliser des revues de code et contribuer à la définition des standards d'ingénierie.

Accompagner les développeurs moins expérimentés à travers le mentorat et le transfert de connaissances.

Garantir la livraison de produits de données sécurisés, performants, évolutifs et prêts pour la production.

Compétences requises

Expertise Data Engineering et Streaming :

Apache Flink - Expert.

Apache Kafka - Expert.

Data Engineering - Expert.

Architectures événementielles (Event-Driven Architecture) - Expert.

Systèmes temps réel (Real-Time Systems) - Expert.

Architecture microservices - Expert.

Java et SQL - Expert.

Python et Scala - Confirmé.

PyFlink - Confirmé.

Avro Schemas et Schema Registry - Confirmé.

Modélisation des données - Expert.

Cloud AWS et développement d'API :

Amazon Web Services - Expert.

Amazon MSK, Kinesis et Managed Flink - Confirmé.

AWS Lambda, Amazon ECS, Amazon EKS et Amazon S3 - Confirmé.

AWS IAM et API Gateway - Confirmé.

API REST, conception d'API et OpenAPI Specification - Expert / Confirmé selon le domaine.

Streaming APIs - Confirmé.

DevOps, qualité et exploitation :

CI/CD Pipelines - Expert.

GitLab CI et GitHub Actions - Confirmé.

Tests automatisés - Expert.

CloudWatch, OpenTelemetry, Prometheus et Grafana - Confirmé.

Service Operations et Production Support - Expert.

SLA Management - Confirmé.