Data Engineer

Uppdrag 51518 Data Engineer

Uppdragsbeskrivning och syfte

• PoC (Proof of Concept) under 12 veckor med start januari 2026 för realtidsförsörjning av data från försäkringssystemet Lumera.

• Flöde: hämta data via API, strömma via Microsoft Fabric Eventstream, lagra, transformera och analysera i KQL databas, samt publicera händelser på ett Kafka topic.

• En central del av uppdraget är att höja kompetensen i det befintliga teamet genom strukturerad kunskapsöverföring och gemensamma arbetssätt.

• En senior Data Engineer med dokumenterad erfarenhet av händelsedrivna och realtidslösningar i Azure/Microsoft Fabric och Kafka.

• Tar helhetsansvar från arkitektur och implementation till driftbarhet, säkerhet, testbarhet och kompetenslyft.

• Samarbetar med produktägare, arkitekter, utvecklare, säkerhet och Lumera specialist.

• Designa, end to end arkitektur för realtidsflödet: API hämtning från Lumera, streaming via Fabric Eventstream, KQL databas, publicering till Kafka.

• Modellera och definiera händelseformat (JSON).

• Sätta upp KQL databas (schema, relevanta policyer, materialiserade vyer) för realtidsanalys och historik.

• Implementera robust API integration tillsammans med specialister hos kunden.

• Konfigurera Eventstream routning och sinks (KQL DB, Kafka), inklusive felhantering.

• Designa Kafka topics (partitionering, nyckelstrategi, retention, säkerhet), producera händelser med korrekta leveranssemantik (at least/exactly once där relevant). Själva testet av Kafka är TBD.

• Säkerhet och governance: hantera och implementera säkerhet i samråd med befintligt plattformsteam.

• Observability: hantera och implementera [e]nklare datakvalitetstest och dashboard.

• CI/CD och IaC: versionshantering, automationspipelines, testbarhet och reproducerbara miljöer.

• Systematisk kompetenshöjning i teamet.

• Microsoft Fabric Real Time Analytics: Eventstream, KQL databas, OneLake och Workspace styrning.

• KQL kompetens (frågor, materialiserade vyer, ingestion mapping, uppdateringspolicyer).

• Kafka (Confluent/Azure Event Hubs med Kafka protokoll): producent/consumer mönster, schema registry, säkerhet (TLS/SASL), topic design och driftaspekter.