Razem z naszym Klientem, liderem w branży dóbr konsumpcyjnychu, poszukujemy osoby na stanowisko Data Engineera. Projekt dotyczy tworzenia zaawansowanych rozwiązań AI do przetwarzania i analizy danych z obszaru IT, telemetryki oraz observability, które umożliwiają monitorowanie i szybkie diagnozowanie złożonych systemów informatycznych w czasie rzeczywistym
responsibilities :
Praca w środowisku Microsoft Azure — konfiguracja i wykorzystanie usług takich jak Databricks, Azure Data Factory, Logic Apps oraz innych komponentów chmurowych do analityki danych i procesów transformacyjnych.
Współpraca z architektami danych, menedżerami jakości danych oraz inżynierami AI w celu optymalnej definicji i wdrażania wymaganych transformacji danych.
Doświadczenie w integracjach z API (zarówno wykorzystanie, jak i budowa), eksporcie danych oraz pracy z plikami JSON, Parquet i innymi.
Tworzenie lub wykorzystywanie narzędzi CI/CD, zgodnie z najlepszymi praktykami w zakresie zarządzania kodem i jego wdrażania.
Rozwój oprogramowania w językach Python i SQL na potrzeby strumieni zasilania i przekształcania danych.
Implementacja reguł oraz procesów transformacji danych.
requirements-expected :
Minimum 5 lat doświadczenia na stanowisku Data Engineera, w tym doświadczenia w Pythonie (Pandas, NumPy) i SQL oraz pracy z danymi półustrukturyzowanymi i relacyjnymi bazami danych.
Znajomości tworzenia i zarządzania pipeline’ami ETL do pobierania, czyszczenia i transformacji danych.
Wiedzy z zakresu praktyk jakości danych i bezpieczeństwa danych, w tym GDPR i kontroli dostępu.
Podstawowej znajomości Microsoft Azure oraz narzędzi CI/CD.
Doświadczenie z narzędziami Spark oraz integracji API.
Otwartość na pracę 100% zdalną.
Język angielski - C1.
offered :
Uczestnictwo w spotkaniach integracyjnych oraz meetupach technologicznych, umożliwiających dzielenie się wiedzą i doświadczeniem.
Wsparcie dedykowanego opiekuna Connectis, który zawsze jest dostępny, by pomóc Ci w sprawach związanych z projektem.
Rozwój kariery i długofalową współpracę w firmie o ugruntowanej pozycji na rynku.
5000 PLN za polecenie znajomego do naszych projektów.
Dostęp do najnowszych technologii i narzędzi pracy.
