Poszukujemy osoby na stanowisko Data Engineer (Mid) do projektu związanego z integracją danych w środowisku chmurowym (GCP) oraz on-premise. Rola obejmuje projektowanie i rozwój procesów ETL, budowę rozwiązań przetwarzających duże wolumeny danych oraz wystawianie usług działających w środowisku wysokiej dostępności (24/7).

Model pracy: hybrydowy (1 dzień w tygodniu z biura)

Język pracy: polski

Współpraca: długoterminowa (12+ miesięcy)

Mid Data Engineer

Twój zakres obowiązków

• Projektowanie i implementacja procesów ETL w środowisku GCP oraz on-prem
• Budowa, rozwój i optymalizacja pipeline’ów danych
• Praca z dużymi wolumenami danych (BigQuery, BigTable, Oracle, PostgreSQL, ScyllaDB)
• Programowanie w Python oraz PySpark (integracja i przetwarzanie danych)
• Tworzenie i utrzymanie usług REST API
• Praca z narzędziami harmonogramującymi i orkiestrującymi procesy (np. Airflow, Automate Now)
• Współpraca z zespołami technicznymi przy integracji systemów
• Udział w utrzymaniu środowisk o wysokiej dostępności (on-call / dyżury techniczne)

Nasze wymagania

• Doświadczenie w Data Engineering w środowisku GCP
• Praktyczna znajomość: Apache Airflow, GCP DataFlow, GCP DataProc
• Doświadczenie z BigQuery oraz BigTable
• Bardzo dobra znajomość Apache NiFi lub Informatica PowerCenter (ETL on-prem)
• Biegła znajomość Python oraz doświadczenie z PySpark
• Doświadczenie z bazami danych: Oracle, PostgreSQL
• Znajomość systemów kolejkowych (Kafka lub GCP Pub/Sub)
• Doświadczenie w projektowaniu i optymalizacji procesów przetwarzania danych
• Umiejętność pracy z GIT
• Doświadczenie z Rust (narzędzia do wydajnego ładowania danych)
• Znajomość ScyllaDB
• Podstawowa znajomość Java (mikrousługi) lub Groovy
• Doświadczenie w pracy z dużymi wolumenami danych (~100TB)
• Linux (zaawansowany użytkownik)
• Grafana, Apache JMeter
• Doświadczenie w środowisku bankowym lub korporacyjnym

To oferujemy

• Długoterminową współpracę przy projekcie o dużej skali technologicznej
• Pracę z nowoczesnymi rozwiązaniami GCP oraz środowiskiem on-prem
• Możliwość rozwoju w obszarze integracji danych i systemów wysokiej dostępności
• Pracę z dużymi wolumenami danych i realne wyzwania techniczne
• Hybrydowy model pracy (1 dzień w biurze)