Informacje o stanowisku

Senior/Architect Data Engineer

Miejsce pracy: Warszawa

Technologie, których używamy

Wymagane

• DataBricks
• MLflow
• MLOps
• Delta Lake

System operacyjny

• Windows
• Linux

O projekcie

Poszukujemy doświadczonego Senior/Architect Data Engineer, który pokieruje projektowaniem kompleksowej architektury silnika przetwarzania opartego na Databricks. Rola ta zakłada wykorzystanie najnowszych technologii, takich jak Mosaic AI, Model Serving, MLflow, Unity Catalog, Delta Lake oraz Feature Store, w celu automatyzacji procesów dekodowania na dużą skalę. Idealny kandydat powinien posiadać silne kompetencje w zakresie inżynierii danych, bezpieczeństwa w chmurze oraz MLOps, a także udokumentowane doświadczenie w projektowaniu rozwiązań na platformie Databricks Lakehouse.

Twój zakres obowiązków

• Architektura: Projektowanie i wdrażanie silnika przetwarzania opartego na Databricks z wykorzystaniem Mosaic AI, Model Serving, MLflow, Unity Catalog, Delta Lake i Feature Store.
• Przetwarzanie danych: Tworzenie ustrukturyzowanych procesów ingestii, przechowywania i przetwarzania danych w czasie rzeczywistym z użyciem Delta Lake, Structured Streaming i Databricks Workflows, z uwzględnieniem bezpieczeństwa i pełnej linii danych.
• Zarządzanie cyklem życia modeli: Obsługa cyklu życia modeli z MLflow – śledzenie eksperymentów, wersjonowanie, testy A/B, monitoring dryfu oraz automatyczne retrainowanie.
• Model Serving: Projektowanie punktów końcowych do serwowania modeli o niskim opóźnieniu, z autoskalowaniem i routingiem opartym na poziomie pewności.
• Zarządzanie danymi: Wdrażanie praktyk zarządzania danymi z Unity Catalog – kontrola dostępu, ścieżki audytu, jakość danych i zgodność regulacyjna.
• Optymalizacja: Optymalizacja wydajności i kosztów – autoskalowanie, wykorzystanie spotów, dashboardy obserwowalności.
• Wdrożenia produkcyjne: Definiowanie strategii wdrożeń (np. blue-green), monitoring, alertowanie, runbooki operacyjne i SLO.
• Współpraca: Praca z zespołami inżynierskimi, MLOps i produktowymi nad workflowami z udziałem człowieka oraz dashboardami opartymi na Databricks SQL i React.
• Zarządzanie zmianą: Prowadzenie szkoleń, transferu wiedzy oraz zarządzanie równoległym przetwarzaniem cieniującym podczas wdrożenia.
• Koordynacja projektu: Planowanie i koordynacja etapowego wdrożenia, metryk sukcesu oraz strategii ograniczania ryzyka.

Nasze wymagania

• Doświadczenie w projektowaniu rozwiązań na Databricks Lakehouse z użyciem Unity Catalog, Delta Lake, MLflow, Model Serving, Feature Store, AutoML i Databricks Workflows.
• Znajomość architektur serwowania modeli w czasie rzeczywistym z autoskalowaniem, routingiem opartym na pewności i testami A/B.
• Wiedza z zakresu bezpieczeństwa i zarządzania w chmurze (Azure lub AWS), w tym Azure AD/AWS IAM, szyfrowanie, audyt i zgodność.
• Praktyczne umiejętności MLOps – śledzenie eksperymentów, wersjonowanie modeli, monitoring dryfu, automatyczne retrainowanie, strategie wdrożeń.
• Biegłość w Pythonie i narzędziach Databricks, integracja z REST API/SDK oraz Databricks SQL.
• Znajomość dashboardów React i workflowów z udziałem człowieka w procesach ML i walidacji jakości danych.
• Umiejętność optymalizacji wydajności, niezawodności i kosztów dla dużych platform analitycznych/ML.
• Doświadczenie w prowadzeniu wdrożeń wieloetapowych z jasnymi metrykami sukcesu, dokumentacją i zarządzaniem zmianą.
• Wiedza domenowa z zakresu telemetryki, szeregów czasowych lub danych przemysłowych (mile widziane doświadczenie w branży lotniczej) oraz praca z agentowymi wzorcami na Mosaic AI.

Mile widziane

• Certyfikaty Databricks i doświadczenie w wdrożeniach korporacyjnych.

Benefity

• dofinansowanie zajęć sportowych
• prywatna opieka medyczna
• dofinansowanie nauki języków
• dofinansowanie szkoleń i kursów
• ubezpieczenie na życie
• możliwość pracy zdalnej
• owoce
• spotkania integracyjne

Inetum Polska

Inetum Polska is part of the global Inetum Group and plays a key role in driving the digital transformation of businesses and public institutions. Operating in cities such as Warsaw, Poznan, Katowice, Lublin, Rzeszow, Lodz the company offers a wide range of IT services. Inetum Polska actively supports employee development by fully funding training, certifications, and participation in technology conferences. Additionally, the company is involved in local social initiatives, such as charitable projects and promoting an active lifestyle. It prides itself on fostering a diverse and inclusive work environment, ensuring equal opportunities for all.

Globally, Inetum operates in 19 countries and employs over 28,000 professionals. The company focuses on four key areas:

- Consulting (Inetum Consulting): Strategic advisory services that help organizations define and implement innovative solutions.

- Infrastructure and Application Management (Inetum Technologies): Designing and managing IT systems tailored to clients’ individual needs.

- Software Implementation (Inetum Solutions): Deploying partner solutions from industry leaders like Microsoft, SAP, Salesforce, and ServiceNow.

- Custom Software Development (Inetum Software): Creating unique software solutions to meet specific client needs.

With strategic partnerships with major technology giants, including Microsoft, SAP, Salesforce, and ServiceNow, Inetum delivers advanced technological solutions tailored to customer requirements. In 2023, Inetum reported revenues of €2.5 billion, underscoring its strong position in the digital services market.

Informujemy, że administratorem danych jest Inetum Poland Sp z o.o. z siedzibą w Warszawie, ul. Wołoska 24 (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis pracuj.pl oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.

Praca Warszawa

Warszawa - Oferty pracy w okolicznych lokalizacjach