Poszukujemy doświadczonego Senior Data Engineera, który dołączy do projektu w branży finansowej. Będziesz pracować nad budową i rozwojem nowoczesnej architektury Data Lakehouse opartej o Databricks. Projekt obejmuje integrację danych z wielu źródeł, optymalizację procesów przetwarzania w dużej skali oraz wdrażanie dobrych praktyk w zakresie jakości, bezpieczeństwa i governance danych. To rola dla osoby samodzielnej, która chce mieć realny wpływ na architekturę i rozwiązania technologiczne w projekcie. Praca głownie zdalna ze sporadycznymi spotkaniami w Warszawie bądź Wrocławiu.
responsibilities :
Projektowanie, rozwój i optymalizacja procesów przetwarzania danych w środowisku Databricks
Tworzenie i utrzymywanie procesów ETL/ELT oraz integracja danych z różnych źródeł (API, batch, streaming)
Modelowanie danych (conceptual, logical, physical) i implementacja w Delta Lake / Unity Catalog
Optymalizacja jobów w PySpark / SQL pod kątem wydajności i kosztów
Budowa i utrzymywanie pipeline’ów CI/CD (GitLab CI / GitHub Actions / Azure DevOps)
Dokumentowanie procesów i wdrażanie dobrych praktyk w zakresie jakości i bezpieczeństwa danych
Współpraca z zespołami analitycznymi i biznesowymi w branży finansowej
requirements-expected :
Doświadczenie w pracy z Data Lakehouse architecture
Bardzo dobra znajomość Databricks (Delta Lake, Unity Catalog, Jobs, Workflows, Clusters, Notebooks, Asset Bundles, Repos)
PySpark / Python Spark – zaawansowane umiejętności i praktyka w optymalizacji jobów
Bardzo dobra znajomość SQL (w tym optymalizacja zapytań w Databricks)
Znajomość Delta Live Tables
Doświadczenie w pracy z danymi w dużej skali (big data), integracji danych z różnych źródeł
Doświadczenie z chmurą (preferowana Azure lub AWS)
Znajomość CI/CD i automatyzacji procesów (GitLab CI, GitHub Actions, Azure DevOps)
Doświadczenie w odwzorowywaniu modeli danych i wdrażaniu ich w Databricks
Praktyczna znajomość schema management, schema evolution, versioning w Databricks
offered :
Stabilną współpracę B2B w branży finansowej
Pracę zdalną z okazjonalnymi wizytami we Wrocławiu lub Warszawie
Długoterminowy projekt oparty o najnowsze technologie big data i cloud
Wsparcie zespołu ekspertów oraz możliwość wymiany wiedzy
Rozwój w obszarze data engineering i cloud computing
