Projekt dotyczy budowy i rozwoju skalowalnej platformy danych wykorzystywanej w wielu strumieniach biznesowych. Zespół odpowiada za projektowanie architektury rozwiązań opartych o przetwarzanie danych w czasie rzeczywistym i wsadowym, integrację wielu źródeł danych oraz rozwój środowisk Big Data w chmurze.
Rozwiązania budowane są w oparciu o architekturę sterowaną zdarzeniami oraz nowoczesne platformy analityczne, z naciskiem na jakość danych, wydajność, bezpieczeństwo i skalowalność. Część inicjatyw obejmuje wykorzystanie komponentów GenAI do pracy z danymi niestrukturalnymi oraz automatyzacji procesów analitycznych.
Rola ma charakter architektoniczno-decyzyjny – osoba na tym stanowisku współtworzy standardy techniczne, podejmuje kluczowe decyzje architektoniczne i realnie wpływa na kierunek rozwoju platformy, a nie tylko realizuje gotowe założenia.
responsibilities :
projektowanie i rozwój pipeline’ów danych w modelu ETL / ELT
projektowanie i wdrażanie architektury Data Lake oraz Data Warehouse
współtworzenie i rozwój architektury sterowanej zdarzeniami
projektowanie rozwiązań Big Data, w tym wykorzystujących możliwości GenAI
współpraca z zespołami inżynieryjnymi i analitycznymi przy definiowaniu architektury systemów
dbanie o jakość, skalowalność i wydajność rozwiązań
requirements-expected :
doświadczenie w projektowaniu i budowie pipeline’ów ETL / ELT
praktyczna znajomość architektury Data Lake i DWH
znajomość technologii event-driven (np. Kafka, Pub/Sub)
doświadczenie w rozwiązaniach Big Data, w tym z obszaru GenAI
bardzo dobra znajomość Google BigQuery
znajomość Kubernetes (preferowane GKE oraz OpenShift)
doświadczenie z relacyjnymi bazami danych Oracle i PostgreSQL (projektowanie, implementacja, tuning)
dobra znajomość języka Python i/lub Rust
praktyczna znajomość Apache Airflow
offered :
udział w projektach opartych o nowoczesne technologie i duże wolumeny danych
realny wpływ na kształt architektury systemów
współpracę z doświadczonym zespołem technologicznym
elastyczny model pracy
stabilne warunki współpracy i długofalowe projekty
