Back to listings
Emagine ConsultingLisbon, Portugal

Data Engineer

Project-Based

Description

O projeto:Projeto internacional no setor financeiroPlataforma de dados em Azure, com ADF e Databricks como núcleoForte foco em data engineering, governance e qualidadePlataforma crítica em produção, com elevados requisitos de fiabilidade e estabilidade ResponsabilidadesDesenvolver e manter pipelines de dados em Azure Databricks (PySpark / Spark SQL).Implementar e otimizar tabelas Delta Lake (ETL/ELT, medallion architecture).Colaborar no desenho de datasets analíticos.Integrar workloads de Databricks com Azure Data Factory (orquestração).Aplicar boas práticas de performance, qualidade e fiabilidade dos dados.Contribuir para a evolução da plataforma para cenários de analytics e AI.RequisitosPelo menos 4 anos de experiência como Data Engineer.Experiência prática com Azure Databricks e Apache Spark.Bons conhecimentos de Python (PySpark) e SQL.Experiência com Delta Lake.Experiência com serviços Azure:Azure Data Lake Storage (ADLS Gen2)Azure Data FactoryInglês fluente (oral e escrito).Preferencial:Experiência com CI/CD para data platforms (Azure DevOps, Git).Noções de governance de dados (ex.: Unity Catalog, Purview).Sensibilidade a temas de segurança, qualidade e ambientes regulados.Experiência em projetos internacionais ou equipas distribuídas.

Skills

Data EngineeringDevOpsEtlDatabricksAzureCI/CDPythonApache SparkApacheSQLGit