Informacje o stanowisku

technologies-expected :

• BigQuery
• Cloud Storage
• Dataflow
• Composer
• Pub/Sub
• Datastream
• Dataplex
• Dataform
• Python
• SQL
• MySQL
• Git

• PostgreSQL
• Microsoft SQL Server

• Dołączysz do zespołu budującego i utrzymującego platformę CDP w architekturze Data Lakehouse na GCP.
• Pracujemy nad potokami batch/stream, integracjami CDC oraz warstwami danych Bronze/Silver/Gold w BigQuery, z naciskiem na jakość, lineage i zgodność (RODO).
• Praca Hybrydowa w Warszawie (2 wizyty w biurze w miesiącu)

• Projektowanie i rozwój potoków danych (ETL/ELT) w GCP: Dataflow (Apache Beam, Python), Composer (Airflow), Pub/Sub.
• Implementacja i utrzymanie strumieniowania/CDC (np. MySQL → Datastream → BigQuery).
• Modelowanie danych w BigQuery (partycje, klastrowanie, optymalizacja zapytań) i praca w warstwach Bronze/Silver/Gold.
• Zarządzanie katalogiem/metadanymi, DQ i lineage (Dataplex) oraz transformatami SQL (Dataform).
• Współpraca z IT/PM, code review, CI/CD, monitoring i alertowanie w chmurze.

• Doświadczenie jako Data Engineer w kilku projektach cloud (preferencyjnie GCP).
• GCP: BigQuery, Cloud Storage, Dataflow (Beam, Python), Composer (Airflow), Pub/Sub, Datastream, Dataplex, Dataform.
• Bardzo dobra znajomość Python oraz SQL (dialekt BigQuery).
• Doświadczenie z MySQL jako źródłem danych (transakcyjne), praktyka w CDC.
• Architektura Medalionowa (Bronze/Silver/Gold), ETL/ELT.
• Data Governance/RODO, Data Quality, Data Lineage, deduplikacja klientów, wersjonowanie danych.
• Git i CI/CD (np. Cloud Build), monitoring/logging w GCP.
• Komunikacja i współpraca w zespole, angielski do pracy w środowisku międzynarodowym.

• Praca end-to-end nad nowoczesnym Lakehouse na GCP.
• Realny wpływ na jakość i standardy danych (DQ, lineage, governance).
• Środowisko nastawione na automatyzację i CI/CD.

• dofinansowanie szkoleń i kursów

Warszawa - Oferty pracy w okolicznych lokalizacjach