.
Data Engineer (Cloud)
  • Gdańsk
Data Engineer (Cloud)
Gdańsk, Gdańsk, Województwo pomorskie, Polska
H2B Group Sp. z o.o.
7. 11. 2024
Informacje o stanowisku

H2B Group to dynamicznie rozwijająca się firma consultingowa IT & IoT z siedzibą w Gdańsku, działająca od 2016 roku. Jesteśmy częścią grupy kapitałowej Euvic - największej federacji spółek informatycznych w Europie Środkowej. Zajmujemy się głównie wsparciem technologicznym oraz konsultingiem dla klientów z całego świata. Specjalizujemy się w takich branżach jak MedTech, GreenTech, Fintech, e-commerce i energetyczna.

Dzięki wieloletnim doświadczeniom z klientami wiemy, że bardzo często wynikiem audytów, czy innych form współpracy z klientami, jest zapotrzebowanie na konkretne kompetencje. W związku z tym, od początku naszego istnienia oferujemy IT staff augmentation, umożliwiając firmom elastyczne powiększanie zespołów projektowych, a kandydatom różnorodność technologiczną. 

Naszą misją jest dostarczanie kompetencji oraz innowacyjnych rozwiązań opartych na sztucznej inteligencji, które realnie usprawniają procesy biznesowe. Dzięki ścisłej współpracy z naszymi klientami, dostarczamy szybkie i mierzalne efekty, które wspierają ich rozwój.


Aktualnie poszukujemy doświadczonego Data Engineera do współpracy z naszym klientem z Wielkiej Brytanii w projekcie związanym z dużymi zbiorami danych pochodzącymi z różnych źródeł (Kafka, RDBS - Postgres CDC, filesystem CSV). Projekt opiera się na architekturze Medalion, w której kluczowa jest implementacja i transformacja danych za pomocą PySpark i SQL. Wykorzystywane technologie to m.in. DataBricks (Unity Catalog, Workflows, Jobs), AWS (S3, Docker), Kubernetes oraz Terraform w zakresie Infrastructure as Code. Wymagana jest praca w trybie 24/7 on-call support z dodatkowym wynagrodzeniem za pełnione dyżury (dyżury co 3 tygodnie).


Zakres obowiązków

  • Projektowanie, implementacja oraz optymalizacja procesów ETL z wykorzystaniem PySpark, SQL oraz DataBricks.
  • Obsługa i konfiguracja infrastruktury danych na AWS (S3, Docker), a także klastrów Kubernetes.
  • Monitorowanie i rozwiązywanie incydentów oraz wsparcie w trybie on-call support.
  • Implementacja infrastruktury za pomocą Terraform i CircleCI (CI/CD).
  • Weryfikacja i testowanie poprawności przetwarzanych danych poprzez notebooki DataBricks (Unity Catalog, DataFrames API).


Wymagania

  • Minimum 5 lat doświadczenia jako Data Engineer, preferowane projekty związane z dużymi zbiorami danych i transformacją.
  • Biegłość w pracy z DataBricks (warunek konieczny) oraz znajomość Python, PySpark i SQL.
  • Doświadczenie w zarządzaniu i obsłudze infrastruktury na AWS (S3, Docker) oraz podstawowa znajomość Azure.
  • Doświadczenie z Infrastructure as Code (Terraform) i wdrażaniem procesów za pomocą CI/CD (CircleCI).
  • Gotowość do pełnienia dyżurów on-call (reagowanie do 30 minut) w systemie rotacyjnym.


Co oferujemy?

  • Pracę zdalną – elastyczność, która pozwala pracować z każdego zakątka świata!
  • Ciekawe projekty – dobierane zgodnie z Twoimi umiejętnościami i zainteresowaniami, dające możliwość pracy nad innowacyjnymi rozwiązaniami.
  • Umowa B2B (do 180zł/h) bez zapisu o wyłączności – współpracuj z nami na swoich zasadach.
  • Rozwój zawodowy – praca z najnowszymi technologiami i w zróżnicowanych projektach, które gwarantują stały rozwój.


  • Praca Gdańsk
  • Gdańsk - Oferty pracy w okolicznych lokalizacjach


    109 179
    17 765