Data Engineer - Big Data

Daily rate: 600€ | Duration: 4 mois et +

Le client est un acteur international de la santé et de l'énergie. Ses produits se retrouvent partout dans le monde, notamment dans les secteurs de l'industrie, de la santé et de l'environnement. L'humain et la planète sont placés au coeur de ses activités et motivent une croissance durable et responsable. ‍ Vous interviendrez au sein de la structure "Global Data Operator" du client. Au sein de cette structure, le ou la Data Engineer industrialise les traitements de données en vue de la valorisation de cette dernière au sein de contextes applicatifs allant de la finance à l’Internet des Objets, la sécurité, l’expérience client, etc. Il ou elle travaille en étroite collaboration avec les Data Scientists, les Data Architects, les Data Managers pour concevoir et implémenter les solutions axées sur un triptyque performance/sécurité/opération dans un environnement cloud et un état d’esprit DevOps. ‍ Mission longue. Le contexte est international (collaborateurs francophones et anglophones) et en équipe.

Au sein de la structure "Global Data Operator", vous interviendrez sur des projets en cours et early stage. Le scope de la mission comprend : Concevoir, développer, tester, et mettre en production des traitements “Big Data” dans différents contextes métier et applicatifs Concevoir, mettre en oeuvre et optimiser, avec les Data Architects et DevOps, les pipelines de traitement de la donnée permettant l’alimentation des applications data depuis les sources de données du Groupe Assurer le support de ces traitements data Concevoir et mettre en oeuvre des outils de visualisation et d’analyse, et des automatisations, pour faciliter le travail des Data Scientists et autres Analystes S’assurer de la bonne application des règles de sécurité et de confidentialité du Groupe au sein des traitements de données Dans la cas d'un profil senior, assurer le rôle de Référent Technique auprès des Data Engineer Juniors intervenant dans l’équipe

Expérience réussie de développement d’applications Big Data, idéalement dans un environnement cloud AWS ou Azure Excellent niveau en technologies Data et cloud: Spark, AWS (EMR, Lambda, Kinesis, DynamoDB, Athena), Airflow, Elasticsearch. Une connaissance des outils BI Azure (Azure Data Warehouse, Azure SQL database, Power BI) ou d’une base de données time series (InfluxDB, TimescaleDB, Prometheus, …) serait un plus Python Spark (PySpark, Scala), Hadoop SQL Excellente maîtrise des fonctions de gestion de la donnée : collecte, analyse, distribution, etc… Capacité à sélectionner et à appliquer certaines librairies et algorithmes standards de Machine Learning ainsi qu’à mettre en place des metrics adaptées serait un plus intéressant