Poszukujemy doświadczonego Senior/Architect Data Engineer, który pokieruje projektowaniem kompleksowej architektury silnika przetwarzania opartego na Databricks. Rola ta zakłada wykorzystanie najnowszych technologii, takich jak Mosaic AI, Model Serving, MLflow, Unity Catalog, Delta Lake oraz Feature Store, w celu automatyzacji procesów dekodowania na dużą skalę. Idealny kandydat powinien posiadać silne kompetencje w zakresie inżynierii danych, bezpieczeństwa w chmurze oraz MLOps, a także udokumentowane doświadczenie w projektowaniu rozwiązań na platformie Databricks Lakehouse.
responsibilities :
Architektura: Projektowanie i wdrażanie silnika przetwarzania opartego na Databricks z wykorzystaniem Mosaic AI, Model Serving, MLflow, Unity Catalog, Delta Lake i Feature Store.
Przetwarzanie danych: Tworzenie ustrukturyzowanych procesów ingestii, przechowywania i przetwarzania danych w czasie rzeczywistym z użyciem Delta Lake, Structured Streaming i Databricks Workflows, z uwzględnieniem bezpieczeństwa i pełnej linii danych.
Zarządzanie cyklem życia modeli: Obsługa cyklu życia modeli z MLflow – śledzenie eksperymentów, wersjonowanie, testy A/B, monitoring dryfu oraz automatyczne retrainowanie.
Model Serving: Projektowanie punktów końcowych do serwowania modeli o niskim opóźnieniu, z autoskalowaniem i routingiem opartym na poziomie pewności.
Zarządzanie danymi: Wdrażanie praktyk zarządzania danymi z Unity Catalog – kontrola dostępu, ścieżki audytu, jakość danych i zgodność regulacyjna.
Wdrożenia produkcyjne: Definiowanie strategii wdrożeń (np. blue-green), monitoring, alertowanie, runbooki operacyjne i SLO.
Współpraca: Praca z zespołami inżynierskimi, MLOps i produktowymi nad workflowami z udziałem człowieka oraz dashboardami opartymi na Databricks SQL i React.
Zarządzanie zmianą: Prowadzenie szkoleń, transferu wiedzy oraz zarządzanie równoległym przetwarzaniem cieniującym podczas wdrożenia.
Koordynacja projektu: Planowanie i koordynacja etapowego wdrożenia, metryk sukcesu oraz strategii ograniczania ryzyka.
requirements-expected :
Doświadczenie w projektowaniu rozwiązań na Databricks Lakehouse z użyciem Unity Catalog, Delta Lake, MLflow, Model Serving, Feature Store, AutoML i Databricks Workflows.
Znajomość architektur serwowania modeli w czasie rzeczywistym z autoskalowaniem, routingiem opartym na pewności i testami A/B.
Wiedza z zakresu bezpieczeństwa i zarządzania w chmurze (Azure lub AWS), w tym Azure AD/AWS IAM, szyfrowanie, audyt i zgodność.
Biegłość w Pythonie i narzędziach Databricks, integracja z REST API/SDK oraz Databricks SQL.
Znajomość dashboardów React i workflowów z udziałem człowieka w procesach ML i walidacji jakości danych.
Umiejętność optymalizacji wydajności, niezawodności i kosztów dla dużych platform analitycznych/ML.
Doświadczenie w prowadzeniu wdrożeń wieloetapowych z jasnymi metrykami sukcesu, dokumentacją i zarządzaniem zmianą.
Wiedza domenowa z zakresu telemetryki, szeregów czasowych lub danych przemysłowych (mile widziane doświadczenie w branży lotniczej) oraz praca z agentowymi wzorcami na Mosaic AI.
