Informacje o stanowisku

technologies-expected :

• ETL Flow
• GCP
• Data Engineering
• BigQuery
• BigTable
• Apache NiFi
• Informatica PowerCenter
• Python
• PySpark
• Oracle/PostrgreSQL
• Kafka lub GCP Pub/Sub
• REST API
• Git

• Rust
• Java (Microservices)
• ScyllaDB
• Groovy
• Linux
• Grafana
• Apache JMeter

• Poszukujemy osoby na stanowisko Data Engineer (Mid) do projektu związanego z integracją danych w środowisku chmurowym (GCP) oraz on-premise. Rola obejmuje projektowanie i rozwój procesów ETL, budowę rozwiązań przetwarzających duże wolumeny danych oraz wystawianie usług działających w środowisku wysokiej dostępności (24/7).
• Model pracy: hybrydowy (1 dzień w tygodniu z biura)
• Język pracy: polski
• Współpraca: długoterminowa (12+ miesięcy)

• Projektowanie i implementacja procesów ETL w środowisku GCP oraz on-prem
• Budowa, rozwój i optymalizacja pipeline’ów danych
• Praca z dużymi wolumenami danych (BigQuery, BigTable, Oracle, PostgreSQL, ScyllaDB)
• Programowanie w Python oraz PySpark (integracja i przetwarzanie danych)
• Tworzenie i utrzymanie usług REST API
• Praca z narzędziami harmonogramującymi i orkiestrującymi procesy (np. Airflow, Automate Now)
• Współpraca z zespołami technicznymi przy integracji systemów
• Udział w utrzymaniu środowisk o wysokiej dostępności (on-call / dyżury techniczne)

• Doświadczenie w Data Engineering w środowisku GCP
• Praktyczna znajomość: Apache Airflow, GCP DataFlow, GCP DataProc
• Doświadczenie z BigQuery oraz BigTable
• Bardzo dobra znajomość Apache NiFi lub Informatica PowerCenter (ETL on-prem)
• Biegła znajomość Python oraz doświadczenie z PySpark
• Doświadczenie z bazami danych: Oracle, PostgreSQL
• Znajomość systemów kolejkowych (Kafka lub GCP Pub/Sub)
• Doświadczenie w projektowaniu i optymalizacji procesów przetwarzania danych
• Umiejętność pracy z GIT

• Długoterminową współpracę przy projekcie o dużej skali technologicznej
• Pracę z nowoczesnymi rozwiązaniami GCP oraz środowiskiem on-prem
• Możliwość rozwoju w obszarze integracji danych i systemów wysokiej dostępności
• Pracę z dużymi wolumenami danych i realne wyzwania techniczne
• Hybrydowy model pracy (1 dzień w biurze)

• dofinansowanie zajęć sportowych
• prywatna opieka medyczna

Warszawa - Oferty pracy w okolicznych lokalizacjach