Migracja istniejących rozwiązań danych do środowiska chmurowego
Projektowanie oraz implementacja procesów ETL
Modelowanie danych oraz tworzenie transformacji danych w oparciu o wymagania użytkowników końcowych
Implementacja kontraktów danych i domen danych (np. Umowy, Polisy, Klienci, Roszczenia)
Współpraca z interesariuszami w celu zrozumienia wymagań biznesowych
Przeprowadzanie testów jakości danych, preferencyjnie automatycznych, i tworzenie mechanizmów kontrolnych zapewniających spójność danych
Tworzenie i utrzymywanie dokumentacji technicznej i biznesowej
Udział w planowaniu prac z wykorzystaniem Azure DevOps
Udział w analizach potrzeb biznesowych i współpraca z lokalnymi przedstawicielami klienta w celu określenia wymagań funkcjonalnych i niefunkcjonalnych.
Dbanie o jakość i spójność kodu źródłowego, w tym przestrzeganie dobrych praktyk programistycznych i standardów kodowania przy pracy z SQL i Pythonem.
Udział w rozwoju i utrzymaniu fundamentów danych wspierających produkty biznesowe
Współpraca z zespołami międzynarodowymi
Wymagania
Minimum 5 lat doświadczenia komercyjnego w roli Data Engineera
Doświadczenie w migracji danych i projektowaniu rozwiązań chmurowych
Bardzo dobra znajomość języków SQL i Python, w tym umiejętność tworzenia skalowalnych i czytelnych skryptów oraz testów automatycznych
Praktyczna znajomość narzędzi z ekosystemu Azure, w szczególności:
- Azure Data Factory (ADF)
-Databricks
- Azure DevOps (zarządzanie backlogiem i planowaniem pracy)
- (mile widziana znajomość: Microsoft Purview w zakresie rozumienia, niekoniecznie rozwoju)
Doświadczenie w budowaniu procesów ETL oraz tworzeniu i implementacji data pipelines
Zrozumienie zasad tworzenia data contracts i domen danych
Wiedza z zakresu testowania jakości danych w procesach przetwarzania danych (ETL/ELT), np. Great Expectations – mile widziane
Znajomość zagadnień związanych z migracją danych i integracją danych legacy
Umiejętność pracy w międzynarodowym zespole oraz komunikacji z interesariuszami - zdolność zrozumienia ich potrzeb i przekształcania ich w wymagania techniczne
Mile widziane certyfikaty:
Databricks Certified Data Engineer Associate
Microsoft Azure Data Fundamentals (DP-900)
Mile widziana wiedza domenowa z zakresu ubezpieczeń (w szczególności umów, osób, polis, roszczeń itp.)
