.
Data Engineer
  • Lublin
Data Engineer
Lublin, Lublin, Lublin Voivodeship, Polska
Decerto
7. 11. 2024
Informacje o stanowisku

Twoja rola i projekt:


PROJEKT ZEWNĘTRZNY

Klient jest globalną firmą ubezpieczeniową oferującą m.in. ubezpieczenia majątkowe i osobowe. Posiada oddziały na całym świecie i ponad 50-letnie doświadczenie w underwritingu oraz zarządzaniu kapitałem i ryzykiem.


Poszukujemy Data Engineera z doświadczeniem w środowisku cloudowym z naciskiem na Azure i DataBricks.


Wiodące technologie i narzędzia: 

ETL data pipelines w DataBricks, Spark (SQL, PySpark), Azure Services; Azure Data Lake, Azure Blob Storage, Azure Synapse, Databricks Unity Catalog.


Twoje zadania:

  • Projektowanie i wdrażanie end-to-end data pipelines w Azure DataBricks, pozyskiwanie danych z różnych źródeł, publikacje danych w Data Azure Lake.
  • Tworzenie kodu w Spark SQL i PySpark do transformacji danych.
  • Automatyzacja pipeline orchestration z użyciem Databricks Workflows i integracja z zewnętrznymi narzędziami (np. Apache Airflow, Azure Data Factory).
  • Wykorzystanie funkcji Databricks, takich jak Delta Lake, do zarządzania i śledzenia zmian w danych.
  •  Tworzenie skalowalnych procesów pozyskiwania danych w celu obsługi danych z różnych źródeł (API, bazy danych, systemy plików).
  • Wdrażanie i utrzymywanie zasad zarządzania danymi przy użyciu Unity Catalog, zapewniając odpowiednią organizację, kontrolę dostępu i zarządzanie metadanymi w zasobach danych.


Aplikuj, jeśli:

  • Posiadasz min. 5 letnie doświadczenie jako Data Engineer lub w podobnej roli.
  • Swobodnie komunikujesz się w języku angielskim (preferowany poziom C1).
  • Masz doświadczenie z data pipelines, projektowaniu i wdrażaniu skalowalnych potoków danych ETL/ELT. 
  • Masz doświadczenie z Azure Databricks, Spark (SQL, PySpark) i doświadczenie w budowaniu przepływów pracy i automatyzacji przy użyciu Databricks Workflows.
  • Posiadasz praktyczne doświadczenie z usługami Azure jak Azure Data Lake, Azure Blob Storage i Azure Synapse.
  • Znajomość zarządzania ładem i bezpieczeństwem danych przy użyciu Databricks Unity Catalog.


Czeka na Ciebie:

  • Praca zdalna, okazjonalne przyjazdy do biura w Warszawie.
  • Budżet rozwojowy 2000,- pln netto / rok.
  • Dofinansowanie certyfikatów.
  • Doświadczony zespół z dużym know-how.
  • Dofinansowanie do Opieki medycznej, Karty sportowej, Ubezpieczenia na życie.
  • Wewnętrzne szkolenia techniczne (i nie tylko).
  • Płaska struktura, wpływ na działania firmy.
  • Innowacyjne programy wyjazdów integracyjnych.


Kontaktujemy się z każdym Kandydatem i zawsze dajemy feedback!

Poznaj nas i dołącz do #DecertoTeam

  • Praca Lublin
  • Lublin - Oferty pracy w okolicznych lokalizacjach


    96 835
    16 228