Stanowisko związane z rozwojem i budową Platformy Danych, implementacją rozwiązań „Data Lakehouse” oraz „Data Intelligence Platform”, a także kontrolą jakości danych i wdrażaniem najlepszych praktyk w obszarze data management oraz data governance.
responsibilities :
Tworzenie kodu oprogramowania gotowego do zaimplementowania w Platformie Danych, w szczególności w zakresie tworzenia struktur danych, przepływów przekształcania danych oraz monitoringu ich jakości.
Optymalizacja skryptów SQL oraz Python w zakresie efektywności przetwarzania w środowisku chmurowym Platformy Danych.
Ścisła współpraca z analitykami danych, inżynierami DevOps oraz architektem rozwiązania w procesie zmian i budowy Platformy Danych.
Realizacja wymagań funkcjonalnych i niefunkcjonalnych w obszarze zmian przepływów danych.
Implementacja rozwiązań w obszarze inżynierii danych specyficznych dla produktów klasy „Data Lakehouse” oraz „Data Intelligence Platform”.
Definiowanie reguł oraz budowa narzędzi wspomagających proces kontroli jakości danych gromadzonych w Platformie Danych.
Rozwój i wdrażanie procesów i najlepszych praktyk w obszarze data management oraz data governance.
Współpraca z administratorami systemów informatycznych w zakresie identyfikowania oraz tworzenia architektury optymalnych interfejsów komunikacji z Platformą Danych w środowisku chmurowym.
Identyfikacja, integracja, propagowanie oraz konfiguracja interfejsów wymiany danych referencyjnych pomiędzy Platformą Danych a systemami źródłowymi.
requirements-expected :
Doświadczenie na stanowiskach inżyniera danych, programisty hurtowni danych, analityka danych, dewelopera business intelligence lub pokrewne.
Doświadczenie w pracy z projektami obejmującymi wdrożenie lub zmiany Hurtowni Danych, Platform Danych, Lakehouses.
Doświadczenie w pracy z dokumentacją: source to target matrix, business requirements, business glossary.
Udział w złożonych projektach w obszarze „data” polegających na integracji wielu źródeł danych.
Optymalizacja kodu SQL oraz Python z wykorzystaniem modeli AI.
Doświadczenie w testach odbiorczych z kluczowymi interesariuszami w organizacji.
Doświadczenie w pracy zespołowej w środowisku Agile.
Zaawansowana umiejętność posługiwania się językiem ANSI-SQL.
Zaawansowana umiejętność posługiwania się językiem Python.
Bardzo dobre zdolności komunikacyjne, łatwość w nawiązywaniu relacji biznesowych w środowisku zdalnym.
Wiedza i praktyczna znajomość standardów zarządzania zmianą CI/CD.
Dokładność i przedsiębiorcza postawa w realizacji powierzonych zadań.
Praktyczna znajomość technologii Azure Databricks Lakehouse.
Doświadczenie w wykorzystaniu dostępnych Databricks connectors na potrzeby integracji źródeł systemowych.
Umiejętność projektowania modeli danych, w tym star i snowflake schemas, dla efektywnej analizy danych.
Umiejętność tworzenia od podstaw oraz orkiestracji złożonych przepływów danych w architekturze medalionu w rozwiązaniach klasy Enterprise Data Platform.
Znajomość technik optymalizacji wydajności hurtowni danych, takich jak indeksowanie, partycjonowanie i buforowanie.
Monitorowanie nowych technologii i trendów w zakresie hurtowni danych i proponowanie ich wdrożenia w celu optymalizacji platformy.
