Data Engineer
Miejsce pracy: Warszawa
Technologie, których używamy
Wymagane
- BigQuery
- Cloud Storage
- Dataflow
- Composer
- Pub/Sub
- Datastream
- Dataplex
- Dataform
- Python
- SQL
- MySQL
- Git
Mile widziane
- PostgreSQL
- Microsoft SQL Server
O projekcie
Dołączysz do zespołu budującego i utrzymującego platformę CDP w architekturze Data Lakehouse na GCP.
Pracujemy nad potokami batch/stream, integracjami CDC oraz warstwami danych Bronze/Silver/Gold w BigQuery, z naciskiem na jakość, lineage i zgodność (RODO).
Praca Hybrydowa w Warszawie (2 wizyty w biurze w miesiącu)
Twój zakres obowiązków
- Projektowanie i rozwój potoków danych (ETL/ELT) w GCP: Dataflow (Apache Beam, Python), Composer (Airflow), Pub/Sub.
- Implementacja i utrzymanie strumieniowania/CDC (np. MySQL → Datastream → BigQuery).
- Modelowanie danych w BigQuery (partycje, klastrowanie, optymalizacja zapytań) i praca w warstwach Bronze/Silver/Gold.
- Zarządzanie katalogiem/metadanymi, DQ i lineage (Dataplex) oraz transformatami SQL (Dataform).
- Współpraca z IT/PM, code review, CI/CD, monitoring i alertowanie w chmurze.
Nasze wymagania
- Doświadczenie jako Data Engineer w kilku projektach cloud (preferencyjnie GCP).
- GCP: BigQuery, Cloud Storage, Dataflow (Beam, Python), Composer (Airflow), Pub/Sub, Datastream, Dataplex, Dataform.
- Bardzo dobra znajomość Python oraz SQL (dialekt BigQuery).
- Doświadczenie z MySQL jako źródłem danych (transakcyjne), praktyka w CDC.
- Architektura Medalionowa (Bronze/Silver/Gold), ETL/ELT.
- Data Governance/RODO, Data Quality, Data Lineage, deduplikacja klientów, wersjonowanie danych.
- Git i CI/CD (np. Cloud Build), monitoring/logging w GCP.
- Komunikacja i współpraca w zespole, angielski do pracy w środowisku międzynarodowym.
Mile widziane
- Doświadczenie z PostgreSQL/MS SQL jako dodatkowymi źródłami.
- Optymalizacja kosztów BigQuery (partycjonowanie/klastrowanie, MV).
- Praktyka w projektowaniu kontraktów danych i testów w Dataform/dbt-like.
Tak organizujemy naszą pracę
Tak pracujemy
- wewnątrz organizacji
- koncentrujesz się na jednym projekcie
Skład zespołu
- backend developer
- project manager
Tak pracujemy nad projektem
- code review
- Continuous Deployment
- Continuous Integration
- wsparcie architekta / lidera technicznego
- narzędzia do trackowania zadań
- automatyzacja testów
To oferujemy
- Praca end-to-end nad nowoczesnym Lakehouse na GCP.
- Realny wpływ na jakość i standardy danych (DQ, lineage, governance).
- Środowisko nastawione na automatyzację i CI/CD.
Benefity
- dofinansowanie szkoleń i kursów
Klikając w przycisk „Aplikuj” lub w inny sposób wysyłając zgłoszenie rekrutacyjne, zgadzasz się na przetwarzanie Twoich danych osobowych przez RANDLAB SOFTWARE sp. z o.o. z siedzibą w: Henryka Siemiradzkiego 11, 33-300 Nowy Sącz (Pracodawca), jako administratora danych osobowych w celu przeprowadzenia rekrutacji na stanowisko wskazane w ogłoszeniu.
Twoje dane osobowe będą przetwarzane w oparciu o następujące podstawy prawne: (a) aby podjąć działania na Twoje żądanie przed zawarciem umowy (np. informacje o oczekiwanym wynagrodzeniu i dostępności do rozpoczęcia pracy); (b) w oparciu o nasz prawnie uzasadniony interes (np. imię, nazwisko, data urodzenia, dane kontaktowe, wykształcenie, kwalifikacje zawodowe, przebieg dotychczasowego zatrudnienia); c) w oparciu o Twoją zgodę, która wyrażona jest poprzez przeslanie dokumentów aplikacyjnych zawierających takie informacje jak np. wizerunek czy zainteresowania.
Podanie wszystkich danych osobowych, o których mowa powyżej jest dobrowolne, natomiast dane wymienione w lit. a) i b) są niezbędne do wzięcia udziału w rekrutacji. Niepodanie danych skutkuje brakiem możliwości rozpatrzenia kandydatury. Podanie pozostałych danych jest dobrowolne, ale może pomóc w sprawnym przeprowadzeniu procesu rekrutacji.
Masz prawo żądać dostępu do Twoich danych (w tym uzyskania ich kopii), sprostowania danych, ich usunięcia, ograniczenia przetwarzania, przeniesienia, jak również wniesienia sprzeciwu wobec ich przetwarzania. Masz także prawo wniesienia skargi do Prezesa Urzędu Ochrony Danych Osobowych.
Twoje dane osobowe mogą zostać przekazane dostawcom usługi publikacji ogłoszeń o pracę, dostawcom systemów do zarządzania rekrutacjami, dostawcom usług IT (hosting), dostawcom systemów informatycznych.
Podane przez Ciebie dane osobowe nie będą wykorzystywane w celu profilowania albo podejmowania decyzji w sposób zautomatyzowany.
Twoje dane osobowe będą przetwarzane przez okres maks. 1 roku od zakończenia publikacji ogłoszenia, chyba, że wyraziłeś odrębną zgodę na wykorzystanie Twoich danych osobowych w przyszłych rekrutacjach.
W celu realizacji praw lub w przypadku jakichkolwiek pytań związanych z przetwarzaniem Twoich danych osobowych skontaktuj się z nami pod adresem: ewa.bartosik@randlab.pl.
