Senior Data Engineer będzie współpracował z zespołem ekspertów technologicznych przy wymagających projektach w różnych branżach. Praca w międzynarodowym środowisku, ale głównie z zespołem polskich współpracowników realizujących projekty dla różnorodnych klientów z szeregu branż - finanse, medycyna, ubezpieczenia, branża lotnicza oraz dóbr szybko zbywalnych itp. Zakładamy zastępowalność oraz różnorodność projektów. Nie zakładamy pracy hybrydowej. Wszystkie nasze projekty realizowane są w zespołach pracujących zdalnie. Zdarzają się okazjonalne wizyty, ale o rzadkiej częstotliwości.
responsibilities :
Prowadzenie i projektowanie skalowalnych architektur zarządzania danymi, infrastruktury oraz rozwiązań platformowych do przetwarzania strumieniowego i wsadowego z wykorzystaniem technologii Big Data
Projektowanie i wdrażanie procesów zarządzania danymi i nadzoru nad danymi oraz najlepszych praktyk.
Wkład w rozwój procesów CI/CD
Tworzenie aplikacji do agregacji, przetwarzania i analizy danych z różnych źródeł.
Współpraca z zespołem Data Science przy projektach realizowanych dla różnych klientów
Przekładanie wymagań biznesowych na rozwiązania techniczne oraz zapewnienie optymalnej wydajności i jakości.
Współpraca z biznesem i interdyscyplinarnym zespołem wdrożeniowym
requirements-expected :
5+ lat udokumentowanego doświadczenia komercyjnego we wdrażaniu, rozwijaniu lub utrzymywaniu systemów Big Data.
Doświadczenie w projektowaniu i wdrażaniu procesów zarządzania danymi oraz nadzoru nad danymi.
Doświadczenie z technologiami Big Data, takimi jak Snowflake, Spark, Kubernetes lub Databricks.
Doświadczenie i wiedza we wdrażaniu i uruchamianiu rozwiązań w środowiskach chmurowych - Azure lub AWS lub GCP
Rozumienie danych wymiarowych i technik modelowania danych.
Doskonałe umiejętności komunikacyjne i doświadczenie konsultingowe w bezpośredniej współpracy z klientami.
Umiejętność samodzielnej pracy i przejmowania odpowiedzialności za realizację projektów
