codzienna praca z dbt – budowa, utrzymanie i optymalizacja transformacji danych
praca z BigQuery - codzienne zapytania, modelowanie, zarządzanie dużymi zbiorami
Google Cloud Storage – etapowanie, przechowywanie i transfer danych między systemami
orkiestracja, harmonogramy i monitoring w Google Composer / Airflow
główny język do tworzenia pipeline, automatyzacji i usług wspierających w Python
praca z Kafka, Dataflow, Terraform, GKE
requirements-expected :
min 5 lat doświadczenia na stanowisku Data Engineer
doświadczenie w realizacji projektów budowy hurtowni danych / data lake / data platform klasy enterprise
bardzo dobra znajomość Google Cloud Platform w zakresie: BigQuery, Google Cloud Storage, Dataflow (batch & streaming), Composer / Airflow, podstawowa wiedza w obszarze GKE
bardzo dobra znajomość i codzienne praktyczne doświadczenie z DBT
umiejętność projektowania i implementacji data pipeline (ETL/ELT)
bardzo dobra praktyczna znajomość Python w kontekście przetwarzania danych
doświadczenie z przynajmniej jednym z narzędzi orkiestracji strumieniowej (Kafka / Pub/Sub / Dataflow Streaming)
umiejętność pracy w IaC (Terraform – bardzo duże plus)
doświadczenie z Docker, Kubernetes
doświadczenie w testowaniu jakości danych i monitoringu (SLA, alerty, data quality framework)
zaawansowana znajomość j.angielskiego - poziom min C1
gotowość do pełnienia sporadycznych dyżurów on-call
offered :
Miejsce pracy: 100% zdalnie
Start pracy: ASAP (preferowany max 30 dniowy okres wypowiedzenia)
