Senior Data Engineer PySpark Databricks AWS Airflow - Freelance

Description du poste

Contexte

Au sein d'une équipe Customer Intelligence d'un acteur majeur de la distribution sportive, le Data Engineer contribue à la construction des fondations de données alimentant des algorithmes de personnalisation client. L'équipe opère dans un contexte international (bureaux à Lille, Paris et Amsterdam) et s'appuie sur une stack technique moderne : PySpark, Airflow, AWS, Databricks, Datadog. Les outils de collaboration utilisés sont Google Suite, Confluence, Jira, Github et Slack.

Missions principales

• Concevoir, développer et maintenir des pipelines ETL/ELT haute performance avec PySpark et Airflow, traitant de larges volumes de données clients.


• Mettre en place des procédures de contrôle qualité, monitoring et validation des données, notamment via Great Expectations.


• Assurer ...