Informacje o stanowisku

O projekcie

• Rozbudowa i utrzymanie data lake oraz procesów przetwarzania danych, które zasilają rozwiązania AI/ML odpowiedzialne m.in . za opportunity scoring.

• Rozbudowany management tabel z danymi w formacie Iceberg pod kątem zautomatyzowanej ewolucji schemy - schema jest różna pomiędzy klientami i lubi się zmieniać, jest to zaadresowane z przebudową schemy przy zero-downtime.

• Zrównoleglone i rozproszone data ingestion z dynamicznym tworzeniem zadań w Airflow.

• Orkiestracja trenowania modeli MLowych dla ponad 100 organizacji z jednoczesnym minimalizowaniem czasu potrzebnego na trening i inteligentnym zarządzaniem quotą w AWS SageMaker.

• Walidacja jakości danych - pełny lineage, adaptacyjne dzielenie kwerend dla dużych organizacji, itd.

• Izolacja pomiędzy organizacjami - dane, konfiguracje, harmonogramy, itd.

• Observability trenowanych modeli MLowych - zarówno podczas treningu jak również walidacji.

Wymagane

• Minimum 4 lata doświadczenia w obszarze Data Engineering , w tym co najmniej 1 rok w projektach związanych z Machine Learningiem .

• Bardzo dobra znajomość Python - praktyczne wykorzystanie w projektach Data Engineering i ML.

• Doświadczenie w pracy z SQL i relacyjnymi bazami danych ( PostgreSQL, Trino ).

• Praktyczna znajomość Apache Airflow , w tym koncepcji data lineage i dynamicznego przydzielania zadań .

• Znajomość koncepcji uczenia maszynowego oraz technologii/frameworków ML takich jak XGBoost, Scikit-Learn, PyTorch, TensorFlow.

• Doświadczenie w pracy z chmurą AWS , zwłaszcza usługami związanymi z przetwarzaniem danych ( AWS Glue, AWS SageMaker ).

• Podstawowa wiedza z zakresu data observability i monitorowania jakości danych.

• Znajomość koncepcji MLOps oraz praktyk wspierających skalowalne wdrażanie modeli ML.

• Bardzo dobra znajomość języka polskiego oraz angielskiego na poziomie min. B2 .

Mile widziane

• Znajomość przetwarzania danych strumieniowych.

• Znajomość data observability przy użyciu Splunk/SignalFx.

• Znajomość IaC z wykorzystaniem Terraform.

Dlaczego j-labs!

• Dołączysz do firmy stworzonej przez inżynierów dla inżynierów , która istnieje na rynku od 15 lat. Obecnie zatrudniamy ponad 500 osób .

• j-labs to stabilność i długofalowa współpraca – około 25% załogi to osoby pracujące już ponad 5 lat!

• Eksperci przyciągają ekspertów - średnie doświadczenie naszych inżynierów wynosi 11 lat , a 30% zostaje zatrudnionych z polecenia .

• Stawiamy na knowledge sharing i rozwój . Organizujemy Talk4Devs, meet’upy , dajemy Ci przestrzeń do budowania swojej marki osobistej jako prelegent, czy prowadzenia własnych projektów, których rezultaty możesz przedstawiać m.in . na naszym blogu.

• Dołączysz do Gildii Technologicznej lub stworzysz własną - nasze community zrzeszają specjalistów w obszarach : Java , Kotlin, .NET, Frontend, Management, DevOps, Quality Assurance.

• Mamy zakodowane, że jest czas pracy i czas nie pracy, więc bardzo dbamy o to, aby work life balance został zachowany.

• Otrzymaliśmy w tym roku certyfikat Great Place to Work (aż 80% odpowiedzi w ankiecie dotyczącej różnych obszarów wybierało najwyższe noty, jesteśmy w pierwszej 10 firm z najlepszym wynikiem)

Kraków - Oferty pracy w okolicznych lokalizacjach