Dołącz do zespołu, który rozwija i utrzymuje nowoczesne rozwiązania analityczne dla serwisów digital w branży medialnej. Pracujemy nad budową skalowalnego ekosystemu danych w oparciu o technologie cloud-native (AWS) i podejście data-driven.Szukamy osoby, która będzie odpowiadać za rozwój i utrzymanie platformy do zarządzania metadanymi oraz jakością danych – łącząc kompetencje inżynierskie z obszarem Data Governance.
Tryb pracy: zdalny + onboarding w Warszawie
Data Platform Engineer
Twój zakres obowiązków
- Implementacja, konfiguracja i utrzymanie platformy do zarządzania metadanymi oraz środowiska Data Quality
- Integracja platformy z lakehouse, hurtownią danych oraz systemami źródłowymi i narzędziami analitycznymi
- Automatyzacja procesów ingestu metadanych, data lineage, monitoringu jakości danych oraz raportowania DQ
- Tworzenie i utrzymanie metamodelu oraz mechanizmów egzekwowania reguł jakości danych
- Rozwój integracji pomiędzy narzędziami Data Quality i Metadata Management
- Monitorowanie stabilności, wydajności i bezpieczeństwa środowiska
- Współpraca z zespołami Data Engineering, Data Governance oraz biznesem przy wdrażaniu standardów i rozwiązań
- Tworzenie dokumentacji technicznej oraz wsparcie użytkowników
Nasze wymagania
- Min. 3–5 lat doświadczenia jako Data Engineer / Data Platform Engineer lub podobnie
- Doświadczenie w budowie i utrzymaniu pipeline’ów danych (ETL/ELT) w środowisku produkcyjnym
- Bardzo dobra znajomość Python (API, automatyzacja, integracje)
- Bardzo dobra znajomość SQL
- Doświadczenie w pracy z AWS
- Znajomość CI/CD oraz GitHub
- Doświadczenie w implementacji mechanizmów jakości danych (walidacje, testy danych, monitoring)
- Znajomość integracji systemowych (REST API, GraphQL lub podobne)
- Rozumienie obszarów: Data Governance, Metadata Management, Data Lineage, Data Quality
- Samodzielność i dobra organizacja pracy
- Angielski min. B2
- Doświadczenie z narzędziami Data Catalog / Metadata Management (np. DataHub, Apache Atlas, Amundsen)
- Znajomość narzędzi Data Quality (np. Great Expectations, Soda, Deequ)
- Doświadczenie z architekturą event-driven
- Udział w projektach open-source
- Doświadczenie w środowisku z procesami Data Governance lub Master Data Management