Data Engineer Azure och AWS - Stockholm (Anställning)
Description
Konsulten kommer tillhöra Data & Analyssektionen inom IT-avdelningen. Vi är ca 65 anställda och konsulter som arbetar i 8 agila team.
Data, analys och AI har stort fokus både inom verksamhet och IT. Vi ska bli en mer datadriven organisation vilket medför förändringar i teknik, arbetssätt och processer. Tekniska landskapet moderniseras och konsolideras i huvudsak till en modern Analysplattform i Azure. Analysplattformen består även av en modern onprem lösning samt en Geodataplattform från Esri. Ytterligare moderniseringen kommer genomföras parallellt med utveckling av ny funktionalitet.
Gruppen Data & Analys söker nu en Senior Data engineer med intresse för att vara med i förvaltning och vidareutveckling inom våra analysplattformar på både Azure och lakehouse i AWS.
Kandidaten ska ingå i ett våra domänorienterade team, men samtidigt vara självgående och driven i att ta fram och implementera lösningar. En viktig del i vardagen är även att dela med sig och stötta övriga i gruppen.
Uppdrag och ansvar
- Förvalta våra analysplattformar på både Azure och lakehouse i AWS.
- Koordinera och driva arbete för dataintegration
- Vana vid komplexa datamängder
- Applicera informationssäkerhet i samband med implementation av lösningar
- Bidra till förvaltningsbarhet av molnplattformen
- Design av lösningar utifrån verksamhetens behov och utveckla ny funktionalitet
- Bidra till att forma arbetssätt och processer
- Samverka inom teamet, mellan teamen och övriga IT
- Bidra till kompetensspridning inom gruppen
Obligatoriska krav
- Minst fem (5) års kombinerad erfarenhet av utveckling och förvaltning av domänövergripande data- och analysplattform i molnmiljö. Erfarenheten ska omfatta arbete med dataintegration samt batch- och realtidsdataflöden.
- Minst tre (3) års erfarenhet av utveckling eller administration av schemalagda och styrda datapipelines i molnmiljö (exempelvis Apache Airflow eller motsvarande lösning).
- Minst två (2) års erfarenhet av utveckling på analysplattform i Microsoft Azure (exempelvis Azure Synapse Analytics, Databricks eller motsvarande).
- Minst tre (3) års erfarenhet av utveckling i Python samt ramverk för distribuerad databehandling i Apache PySpark.
- Minst två (2) års erfarenhet av implementation eller förvaltning av datapipelines i Azure (exempelvis Synapse Pipelines, Azure Data Factory eller motsvarande).
Mervärdeskrav
- Minst 2 års erfarenhet av utbyte av kollektivtrafikdata, genom NOPTIS.
- Minst ett uppdrag med utveckling i Data Lakehouse på Azure Synapse.
- Minst ett uppdrag med rapportutveckling inom Quick Suite alternativt Power BI.
- Minst 2 års erfarenhet av Terraform på AWS.