Data Engineer senior

En tant que Data Engineer Senior PySpark, vous jouez un rôle clé dans la performance et la fiabilité des traitements de données à grande échelle. Vous êtes en charge de l’optimisation des pipelines existants et de l’organisation des activités de RUN & stabilisation, en veillant à prioriser les actions à forte valeur ajoutée dans un environnement Agile. Votre rôle Optimisation et refonte des pipelines data ·        Auditer, refactorer et faire évoluer les modules de data engineering : Refining Covariates Modelling, Exposition ·        Optimiser les pipelines PySpark pour améliorer les performances de traitement à grande échelle (partitioning, gestion des joins, cache, skew et volumétrie) ·        Renforcer la modularité, la lisibilité, l’évolutivité et la scalabilité des pipelines ·        Contribuer à la réduction de la dette technique et à la modernisation du legacy Industrialisation et qualité des développements ·        Structurer un framework flexible permettant l'ajout de nouvelles features et facilitant l’industrialisation des développements ·        Mettre en place les tests unitaires, d’intégration et fonctionnels ·        Formaliser des standards de développement Stabilisation, RUN et amélioration continue ·        Améliorer la stabilité des pipelines grâce au monitoring et à l’application des bonnes pratiques CI/CD ·        Structurer et prioriser les actions de RUN et de stabilisation ·        Définir et piloter un plan d'optimisation priorisé avec des gains mesurables Passage à l’échelle et évolution de l’architecture data ·        Adapter les pipelines pour un déploiement mondial / multi régions en tenant compte des enjeux de volumétrie et de passage à l’échelle ·        Optimiser le ratio coût / performance des traitements ·        Travailler en étroite collaboration avec les Data Scientists et les ML Engineers