Informacje o stanowisku

• Wieloletnie doświadczenie w projektowaniu i budowie rozwiązań data engineering w oparciu o Databricks / Apache Spark
• Bardzo dobra znajomość Python (w tym PySpark) oraz SQL; znajomość Scala będzie dodatkowym atutem
• Doświadczenie w budowie i utrzymaniu dużych, produkcyjnych pipeline’ów danych
• Solidne zrozumienie architektury danych, modelowania danych oraz zagadnień optymalizacji wydajności
• Doświadczenie w pracy z chmurą publiczną (AWS, Azure lub GCP)
• Praktyczna znajomość CI/CD oraz dostarczania rozwiązań klasy enterprise
• Znajomość zasad data governance, bezpieczeństwa informacji oraz ochrony prywatności
• Doświadczenie w roli liderskiej lub gotowość do pełnienia funkcji technicznego lidera
• Umiejętność pracy w środowisku międzyzespołowym i silne nastawienie na realizację celów

,[Projektowanie, rozwój i optymalizacja skalowalnych pipeline’ów danych (ingestia, transformacja, przetwarzanie, warstwa analityczna), Definiowanie i rozwój architektury danych zgodnej z najlepszymi praktykami oraz standardami organizacyjnymi, Współtworzenie i realizacja roadmapy technologicznej dla platformy danych, Techniczne wsparcie i mentoring zespołu Data Engineerów (code review, wyznaczanie dobrych praktyk, rozwiązywanie problemów technicznych), Ścisła współpraca z zespołami produktowymi i biznesowymi w zakresie zbierania wymagań, estymacji oraz planowania prac, Optymalizacja wydajności przetwarzania danych oraz rozwiązywanie problemów związanych z jakością i integralnością danych, Wdrażanie mechanizmów kontroli jakości danych, obserwowalności oraz automatycznej walidacji, Budowa i utrzymanie procesów CI/CD dla rozwiązań data engineering, Dbałość o zgodność rozwiązań z zasadami data governance, bezpieczeństwa oraz ochrony danych, Tworzenie i utrzymywanie dokumentacji technicznej, Komunikowanie zagadnień technicznych interesariuszom o różnym poziomie wiedzy technicznej, Aktywny udział w pracy w metodykach zwinnych (refinement, planowanie sprintów, daily, zarządzanie backlogiem) Requirements: Python, Databricks, PySpark, Apache Spark, SQL, CI/CD, AWS, Azure, GCP

Praca Warszawa

Warszawa - Oferty pracy w okolicznych lokalizacjach