Migracja danych z platformy Synapse do Databricks.
Budowa skalowalnych rozwiązań dla Data Mart i Consumption Layer.
Integracja z narzędziami raportowymi, optymalizacja pipeline’ów i wdrażanie najlepszych praktyk w obszarze inżynierii danych.
responsibilities :
Udział w migracji danych z platformy Synapse do Databricks w wielu strumieniach danych.
Projektowanie i wdrażanie skalowalnych rozwiązań dla początkowego załadowania danych, warstw Data Mart i Consumption Layer, integracji z Power BI i raportowania.
Współpraca z zespołami produktowymi i biznesowymi w celu zbierania wymagań i tworzenia rozwiązań opartych na danych.
Optymalizacja pipeline’ów danych pod kątem wydajności, skalowalności i niezawodności.
Stosowanie najlepszych praktyk w modelowaniu danych, procesach ETL/ELT oraz optymalizacji przechowywania danych.
Tworzenie testów jednostkowych i integracyjnych w celu zapewnienia jakości i spójności danych.
Diagnozowanie i rozwiązywanie problemów związanych z pipeline’ami danych, wąskimi gardłami wydajności oraz integracjami.
Monitorowanie trendów technologicznych w obszarze inżynierii danych i chmury oraz rekomendowanie usprawnień.
requirements-expected :
Minimum 8 lat doświadczenia w obszarze architektury danych i pracy z platformami chmurowymi (możliwość rozważenia kandydatów z nieco mniejszym doświadczeniem, ale istotnie większym niż 3–4 lata).
Praktyczne doświadczenie produkcyjne w pracy z Databricks oraz wdrażaniu rozwiązań opartych na Data Lakehouse Architecture.
Biegłość w modelowaniu danych w środowiskach enterprise, z uwzględnieniem zasad zarządzania, bezpieczeństwa i zgodności.
Umiejętność definiowania architektury referencyjnej oraz najlepszych praktyk dla skalowalnych pipeline’ów ETL/ELT.
Znajomość języków Python, PySpark, SQL, z naciskiem na optymalizację wydajności.
Doświadczenie w integracji z narzędziami raportowymi, w szczególności Power BI.
Umiejętność mentorowania zespołów inżynierskich oraz przeglądu kodu.
Doświadczenie w pracy w metodyce Agile/SCRUM, z naciskiem na skalowalność, optymalizację kosztów i rozwój długoterminowy platform danych.
Znajomość języka angielskiego na poziomie min. B2 (współpraca z międzynarodowymi zespołami).
