Projektowanie i rozwijanie protokołów ETL/ELT (batch + ewentualnie streaming) z systemów źródłowych do Data Lake, opartych na narzędziach orkiestracji typu Airflow/Kubeflow/równoważne, również w systemach distributed computing
Współtworzenie fundamentów Data Lake: warstwy danych (raw/processsed/curated), standardy nazewnictwa i partycjonowania, schematy i kontrakty danych, podejście do wersjonowania
Implementacja i utrzymanie integracji danych oraz automatyzacja uruchomień
Zapewnienie jakości i niezawodności danych
Przygotowanie danych pod ML/AI: budowa zbiorów trening/valid/test, pipeliney przygotowania cech, współpraca przy potokach treningu i inferencji oraz integracji danych z usługami ML/AI
Praca w realiach self-hosted: optymalizacja wydajności, kosztów zasobów, stabilność i bezpieczeństwo
Współpraca z zespołami BI/ML/AI/produktowymi: doprecyzowanie potrzeb, definicji KPI i priorytetów backlogu danych
requirements-expected :
2-5 lat doświadczenia w roli Data Engineer
Bardzo dobra znajomość SQL + praktyka programowania w Python (ETL, integracje, automatyzacja)
Doświadczenie z przetwarzaniem dużych wolumenów danych i narzędziami klasy Spark (lub równoważne): mile widziane Kafka/streaming
Praktyka w środowisku Linux (on-prem) oraz rozumienie ograniczeń i obowiązków wynikających z self-hosted
Dobre praktyki inżynierskie: Git, code review, testy, logowanie/monitoring, dokumentacja techniczna
Umiejętność projektowania struktur danych
Współpraca przy ML/AI: zrozumienie potrzeb danych dla treningu/inferencji (reprodukowalność, wersjonowanie datasetów)
Angielski na poziomie komunikatywnym (min. B2)
offered :
Umowa o pracę
Hybrydowy system pracy
Pracę w kilkuosobowym zespole
Merytoryczne wsparcie na każdym etapie wdrożenia
Bogaty pakiet medyczny w Luxmed (w tym stomatologię)
Pakiet Multisport
Możliwość korzystania z Ośrodka Sportu znajdującego się na terenie Agencji
Dyżury lekarza w przychodni znajdującej się w naszej siedzibie
Bezpłatny parking dla pracowników
Dofinansowanie do wypoczynku
Dofinansowanie do biletów do kina, teatru, na koncerty dla pracowników i członków rodziny
Dofinansowanie do edukacji dzieci
Dofinansowanie do kursów/szkoleń
Dodatkowe ubezpieczenie
Pracowniczy Program Emerytalny
Pakiet świadczeń z Zakładowego Funduszu Świadczeń Socjalnych
