Informacje o stanowisku

Opis Projektu: Wiodąca niemiecka firma, zajmująca czołową pozycję w branży telekomunikacyjnej i usług IT, specjalizująca się w nowoczesnych rozwiązaniach takich jak hosting stron internetowych, przetwarzanie w chmurze oraz usług internetowych poszukuje Data Engineera który zaprojektuje i wdroży infrastrukturę niezbędną do hostowania, orkiestracji i zarządzania nawet 1500 procesami scoringowymi ML w nowym środowisku Databricks. Kluczowe obowiązki Konfiguracja klastrów, jobów i workflow w Databricks do zastosowań ML scoringu na dużą skalę. Wykorzystanie Infrastructure as Code (np. Terraform) w celu zapewnienia odtwarzalności i ładu. Implementacja infrastruktury zdolnej obsłużyć tysiące zadań scoringowych ML. Konfiguracja harmonogramów jobów, równoległego przetwarzania i optymalizacji zasobów. Integracja monitoringu i alertowania z użyciem natywnych narzędzi chmurowych. Tworzenie procesów wdrożeniowych modeli ML w Databricks MLflow lub innych narzędziach. Współpraca z DevOps w celu zapewnienia wspólnej infrastruktury dla ML i BI (np. współdzielone zasoby, tabele Delta Lake). Automatyzacja provisioning’u zasobów i wdrożeń poprzez CI/CD. Wymagania: Doświadczenie w ML Ops w środowiskach produkcyjnych. Duża wiedza praktyczna z Databricks (MLflow, Jobs, Workflows, Delta Lake). Doświadczenie w orkiestracji dużych zadań batchowych i przetwarzaniu rozproszonym. Znajomość Pythona do skryptowania workflow i integracji pipeline’ów. Doświadczenie w CI/CD dla wdrażania modeli ML (Azure DevOps, GitHub Actions itp.). Znajomość narzędzi monitoringu i logowania (Datadog, Prometheus, Grafana lub natywne). Zrozumienie IaC i automatyzacji środowisk chmurowych. Wiedza o lifecycle modeli, wersjonowaniu i reprodukowalności.

Warszawa - Oferty pracy w okolicznych lokalizacjach