Dołączysz do zespołu budującego i utrzymującego platformę CDP w architekturze Data Lakehouse na GCP.
Pracujemy nad potokami batch/stream, integracjami CDC oraz warstwami danych Bronze/Silver/Gold w BigQuery, z naciskiem na jakość, lineage i zgodność (RODO).
Praca Hybrydowa w Warszawie (2 wizyty w biurze w miesiącu)
responsibilities :
Projektowanie i rozwój potoków danych (ETL/ELT) w GCP: Dataflow (Apache Beam, Python), Composer (Airflow), Pub/Sub.
Implementacja i utrzymanie strumieniowania/CDC (np. MySQL → Datastream → BigQuery).
Modelowanie danych w BigQuery (partycje, klastrowanie, optymalizacja zapytań) i praca w warstwach Bronze/Silver/Gold.
Zarządzanie katalogiem/metadanymi, DQ i lineage (Dataplex) oraz transformatami SQL (Dataform).
Współpraca z IT/PM, code review, CI/CD, monitoring i alertowanie w chmurze.
requirements-expected :
Doświadczenie jako Data Engineer w kilku projektach cloud (preferencyjnie GCP).