Nous recherchons un Data Engineer Python (H/F) confirmé pour intervenir sur une plateforme de traitement de données de marché et de détection de comportements anormaux.

Vous intégrerez une application data orientée Big Data, reposant sur une architecture moderne dans le cloud, permettant l’ingestion, la transformation et l’analyse de flux de données issus de multiples plateformes d’échange.

Dans ce contexte, vous interviendrez sur :

• La conception et le développement de pipelines de données en Python (PySpark)

• L’ingestion et la normalisation de données de marché à grande échelle

• La mise en œuvre d’architectures de type data lake / medallion (silver & gold layers)

• L’optimisation des traitements (performance, scalabilité, coûts cloud)

• La gestion de la qualité des données (frameworks type Great Expectations)

• L’exposition des données aux différents consommateurs métiers

• L’amélioration continue des frameworks (monitoring, CI/CD, tests, résilience)

• La rédaction de la documentation technique (architecture, flux, pipelines)