Informacje o stanowisku

Twój zakres obowiązków

• Projektowanie architektury platformy danych (Data Lake / DWH) oraz standardów integracji

• Projektowanie i nadzór nad pipeline’ami ETL/ELT (batch + near-real-time)

• Projektowanie architektury event-driven (Kafka/Pub/Sub) i integracji między systemami

• Projektowanie rozwiązań bigdata wspieranych przez genai (przetwarzanie danych niestrukturyzowanych, automatyzacje)

• Projektowanie i optymalizacja rozwiązań w GCP (w szczególności bigquery)

• Współpraca z zespołami inżynierskimi: data engineers, devops, security oraz interesariuszami biznesowymi

• Nadzór nad wdrożeniami na Kubernetes (GKE / openshift) i wymaganiami niefunkcjonalnymi (wydajność, niezawodność)

• Weryfikacja i tuning baz Oracle/postgresql oraz standardów jakości danych

Nasze wymagania

• Znajomość aspektów związanych z budową pipeline-ów zasilających ETL/ELT

• Doświadczenie w budowaniu i projektowaniu rozwiązań Data Lake i DWH

• Znajomość technologii architektury sterowanej zdarzeniami (Kafka, Pub/Sub)

• Znajomość aspektów budowy rozwiązań bigdata wykorzystujących możliwości genai

• Znajomość Google bigquery

• Znajomość Kubernetes (najlepiej GKE i/lub openshift)

• Znajomość relacyjnych baz danych Oracle i postgresql (projektowanie, budowa, tuning)

• Biegła znajomość Python i/lub Rust

• Dobra znajomość Apache Airflow

Mile widziane

• Koncepcja data mesh

• Bazy wektorowe i grafowe

• Apache Spark (najlepiej GCP Dataproc)

• Apache Beam (najlepiej GCP Dataflow)

• AutomateNow

• Informatica Power Center

Warszawa - Oferty pracy w okolicznych lokalizacjach