Programista BigData (Regular)

Branża: bankowośćStawka: 120 zł/h na b2bLokalizacja: głównie praca zdalna, 2 razy w miesiącu spotkanie w biurze w WarszawiePodsumowanieGłównym celem roli Programisty BigData jest projektowanie i wdrażanie rozwiązań przetwarzania dużych zbiorów danych przy użyciu technologii Big Data, co wspiera organizację w analizie i zarządzaniu danymi.ObowiązkiRozwój i utrzymanie aplikacji opartych na technologii Spark w językach Python lub Scala.Implementacja koncepcji Big Data oraz zarządzanie danymi w hurtowniach danych.Praca na platformach Hadoop Cloudera lub Hortonworks.Stosowanie dobrych praktyk inżynieryjnych przy przetwarzaniu dużych zbiorów danych.Analiza i integracja danych z różnych źródeł.Opracowywanie danych w różnych formatach, takich jak JSON, PARQUET, ORC, AVRO.Wykonywanie zapytań SQL na poziomie zaawansowanym.Wymagania KluczoweMin. 2 lata doświadczenia w programowaniu w Spark w Pythonie lub Scali.Znajomość koncepcji Big Data oraz hurtowni danych.Doświadczenie z platformą Hadoop Cloudera/Hortonworks.Znajomość dobrych praktyk inżynieryjnych w przetwarzaniu danych.Doświadczenie z formatami danych: JSON, PARQUET, ORC, AVRO.Zrozumienie typów baz danych, takich jak Hive, Kudu, HBase, Iceberg.Zaawansowana znajomość SQL.Doświadczenie w integracji danych z wielu źródeł.Znajomość narzędzi budowlanych, takich jak Maven.Nice to HaveZnajomość narzędzi Agile, takich jak Jira, Confluence, Kanban, Scrum.Znajomość platformy Kubeflow.Doświadczenie z technologiami strumieniowymi: Kafka, Apache NiFi.Wiedza na temat automatyzacji CI/CD.