Celem projektu jest wdrożenie i ustandaryzowanie Data Contracts w organizacji w celu poprawy jakości, spójności i przewidywalności danych w ekosystemie danych (Hurtownia Danych / Big Data) w środowisku GCP.

Projekt obejmuje zaprojektowanie, implementację oraz automatyzację kontraktów danych pomiędzy producentami i konsumentami danych, w tym: definiowanie schematów danych, wymagań jakościowych, mechanizmów walidacji i monitoringu, dokumentacji technicznej wspierającej zespoły analityczne, biznesowe i techniczne.

Rozwiązanie będzie wspierać podejście Data Governance by Design, zwiększając transparentność danych, stabilność integracji oraz skracając czas reakcji na zmiany po stronie źródeł i odbiorców danych.

Regular Data Engineer

Twój zakres obowiązków

• Projektowanie i definiowanie Data Contracts (schematy danych, reguly jakosciowe, SLA danych) we współpracy z zespołami biznesowymi, analitycznymi i technicznymi.
• Implementacja kontraktów danych z wykorzystaniem standardów takich jak OpenAPI / JSON Schema.
• Automatyzacja walidacji kontraktów danych w potokach CI/CD, w tym testy jakości danych (QA).
• Analiza, przetwarzanie i modelowanie danych w środowisku Hurtowni Danych / Big Data na GCP.
• Tworzenie i optymalizacja zaawansowanych zapytań SQL (agregacje, optymalizacja wydajności, zarządzanie indeksami).
• Projektowanie modeli danych oraz logicznych i fizycznych warstw danych.
• Zapewnienie jakości danych poprzez testowanie, monitoring oraz mechanizmy alertowania.
• Przygotowywanie i utrzymywanie dokumentacji technicznej oraz udział w code review.
• Współpraca z zespołami odpowiedzialnymi za Data Governance i Data Quality.

Nasze wymagania

• Min. 2-3 lata doświadczenia na stanowisku Data Engineera.
• Doświadczenie w analizie, przetwarzaniu i modelowaniu danych.
• Znajomość tworzenia zapytań SQL na poziomie zaawansowanym poparta praktycznym doświadczeniem zawodowym.
• Praktyka w zapewnieniu jakości danych (testowanie, monitorowanie, alertowanie).
• Doświadczenie w dokumentacji technicznej oraz code review.
• Umiejętność pracy zespołowej i komunikacji z zespołami biznesowymi, technicznymi oraz analitycznymi.
• Proaktywność, odpowiedzialność i nastawienie na jakość w obszarze danych.
• Praca 1-2 dni w tygodniu z biura klienta w Warszawie
• Doświadczenie z narzędziami zarządzania danymi, np. dbt, Dataform (transformacja i dokumentacja danych), Dataplex, Data Catalog (zarządzanie ładem danych).
• Doświadczenie w migracjach danych z systemów on-prem.
• Znajomość zagadnień z obszaru Data Governance i Data Quality.
• Znajomość ekosystemu GCP.