Projekt dotyczy rozwoju platformy danych i machine learning w dużej organizacji, gdzie budowane są skalowalne rozwiązania analityczne oparte na technologii Spark, Python oraz usługach chmurowych AWS.

Zespół pracuje nad rozwojem pipeline’ów danych oraz wdrażaniem modeli ML wykorzystywanych w wielu obszarach biznesowych.

Senior Data / ML Engineer

Twój zakres obowiązków

• Zarządzanie pełnym cyklem życia modeli ML – od developmentu po deployment i monitoring
• Wdrażanie praktyk MLOps (CI/CD, testowanie modeli, monitoring, automatyzacja pipeline’ów)
• Budowa i utrzymanie pipeline’ów danych w Python i Apache Spark
• Przetwarzanie dużych wolumenów danych (structured i unstructured) w trybie batch i near real-time
• Rozwój rozproszonych pipeline’ów big data o wysokiej wydajności i skalowalności
• Wykorzystanie Spark do transformacji i wzbogacania danych na potrzeby analityki i wizualizacji
• Współpraca z data scientistami, DevOps oraz zespołami IT
• Współpraca z analitykami i biznesem przy tworzeniu modeli analitycznych
• Rozwój i optymalizacja praktyk oraz bibliotek MLOps
• Exploracja i rozwój rozwiązań AI/ML w środowisku chmurowym

Nasze wymagania

• Min. 5 lat doświadczenia w Pythonie i Apache Spark
• AWS
• ML
• SQL (Spark/Hive SQL)
• Hadoop (big data)