Dołączysz do strategicznego projektu budowy i rozwoju centralnej platformy danych w środowisku chmurowym. Celem inicjatywy jest stworzenie skalowalnych, wydajnych i niezawodnych rozwiązań data engineering, które umożliwią rozwój produktów danych oraz wspieranie decyzji biznesowych w oparciu o wysokiej jakości dane.

Rola ma charakter liderski z silnym komponentem operacyjnym (hands-on). Osoba na tym stanowisku będzie odpowiadać zarówno za kierunek techniczny rozwiązań, jak i aktywny udział w ich projektowaniu oraz implementacji.

Lead Data Engineer (k/m/x)

Twój zakres obowiązków

• Projektowanie, rozwój i optymalizacja skalowalnych pipeline’ów danych (ingestia, transformacja, przetwarzanie, warstwa analityczna)
• Definiowanie i rozwój architektury danych zgodnej z najlepszymi praktykami oraz standardami organizacyjnymi
• Współtworzenie i realizacja roadmapy technologicznej dla platformy danych
• Techniczne wsparcie i mentoring zespołu Data Engineerów (code review, wyznaczanie dobrych praktyk, rozwiązywanie problemów technicznych)
• Ścisła współpraca z zespołami produktowymi i biznesowymi w zakresie zbierania wymagań, estymacji oraz planowania prac
• Optymalizacja wydajności przetwarzania danych oraz rozwiązywanie problemów związanych z jakością i integralnością danych
• Wdrażanie mechanizmów kontroli jakości danych, obserwowalności oraz automatycznej walidacji
• Budowa i utrzymanie procesów CI/CD dla rozwiązań data engineering
• Dbałość o zgodność rozwiązań z zasadami data governance, bezpieczeństwa oraz ochrony danych
• Tworzenie i utrzymywanie dokumentacji technicznej
• Komunikowanie zagadnień technicznych interesariuszom o różnym poziomie wiedzy technicznej
• Aktywny udział w pracy w metodykach zwinnych (refinement, planowanie sprintów, daily, zarządzanie backlogiem)

Nasze wymagania

• Wieloletnie doświadczenie w projektowaniu i budowie rozwiązań data engineering w oparciu o Databricks / Apache Spark
• Bardzo dobra znajomość Python (w tym PySpark) oraz SQL; znajomość Scala będzie dodatkowym atutem
• Doświadczenie w budowie i utrzymaniu dużych, produkcyjnych pipeline’ów danych
• Solidne zrozumienie architektury danych, modelowania danych oraz zagadnień optymalizacji wydajności
• Doświadczenie w pracy z chmurą publiczną (AWS, Azure lub GCP)
• Praktyczna znajomość CI/CD oraz dostarczania rozwiązań klasy enterprise
• Znajomość zasad data governance, bezpieczeństwa informacji oraz ochrony prywatności
• Doświadczenie w roli liderskiej lub gotowość do pełnienia funkcji technicznego lidera
• Umiejętność pracy w środowisku międzyzespołowym i silne nastawienie na realizację celów