Informacje o stanowisku

? Forma pracy: part-time (2 x 0,5 FTE) lub full-time (1 x 1 FTE), 100% zdalnie ?

⏰ Start: ASAP (8-15 Grudnia) ?

Cześć! ?

Dla naszego klienta z USA poszukujemy Senior Data Architecta z głębokim doświadczeniem w Databricks. Klient posiada stałe zapotrzebowanie na specjalistów, a obecnie poszukujemy osoby (lub dwóch osób) do objęcia zadań architektonicznych i nadzorczych w ramach dwóch różnych projektów, startujących początkiem/połową grudnia.Klient jest otwarty na zatrudnienie jednej osoby na pełny etat (łącząc projekty) lub dwóch osób na pół etatu (2 x 20 godzin tygodniowo). Projekty są ze sporym prawdopodobieństwem na przedłużenie, a ze względu na stałość zapotrzebowania, klient jest w stanie zaproponować nowy temat po zakończeniu danego projektu.

Obecnie poszukiwany Architekt do 2 projektów:

1. Platforma JDE/Smartsheet (Start 8 Grudnia): Projekt polega na przeniesieniu całego raportowania opartego na plikach JDE oraz Smartsheet do nowoczesnego Lakehouse w Databricks. Celem jest osiągnięcie jednego źródła prawdy, poprawa jakości danych i eliminacja ręcznych kroków. W tym projekcie będziesz odpowiadać za projekt i wdrożenie bezpiecznej, wielowarstwowej infrastruktury Databricks jako kodu (Terraform IaC) oraz architektury dostępu (Unity Catalog, SailPoint), wspierając migrację krytycznych danych finansowych (JMF)

2. Migracja Synapse -> Databricks (Start 15 Grudnia): Projekt polega na strategicznej migracji całej korporacyjnej platformy danych z Azure Synapse Analytics do Azure Databricks Lakehouse. Celem jest modernizacja architektury, poprawa wydajności, umożliwienie innowacji AI/ML oraz ustanowienie ujednoliconego governance. Zakres architektoniczny obejmuje definiowanie metadata-driven framework, nadzór nad migracją 253 tabel do architektury Medallion, wdrożenie Unity Catalog oraz Private Link dla bezpieczeństwa sieci.

Dla klienta kluczowe jest obycie w środowisku Azure/ AWS oraz ekspercka znajomość DataBricks i Apache Spark. Projekty prowadzone są przede wszystkim dla firm z USA – w większości przypadków wymagana jest praca jedynie z niewielką zakładką godzinową (np. od 10:00 do 18:00), natomiast jesteśmy otwarci na kandydatów preferujących pracę w innych godzinach.

Ogólny zakres obowiązków na projektach:

? Architektura i Implementacja Platformy: Projektowanie, wdrażanie i utrzymanie skalowalnych rozwiązań Data Lakehouse z wykorzystaniem Databricks, Delta Lake oraz standardów Medallion Architecture (Bronze/Silver/Gold).

? Governance i Security: Wdrażanie mechanizmów zarządzania danymi (data governance) i bezpieczeństwa, w tym konfiguracja Unity Catalog, zarządzanie dostępem (RBAC) oraz implementacja IaC (Terraform) dla automatyzacji infrastruktury i audytowalności.

? Wyzwania Migracyjne i Transformacyjne: Aktywny udział w projektach migracyjnych platformy (Synapse -> Databricks, JDE -> Databricks) oraz refaktoring złożonej, starszej logiki biznesowej (SSIS, Boomi) do nowoczesnych rozwiązań Spark/Python.

? Budowa Potoków Danych: Nadzór nad tworzeniem i optymalizacją zaawansowanych potoków ETL/ELT przy użyciu PySpark i Delta Live Tables (DLT), włączając w to mechanizmy przetwarzania danych wsadowych oraz strumieniowych/w czasie zbliżonym do rzeczywistego.

? Optymalizacja i SLA: Definiowanie strategii monitorowania, dostrajanie wydajności oraz automatyzacja procesów data engineering, aby spełniać krytyczne SLA (np. 4-godzinne okno odświeżania danych).

Wymagania:

⚡ Eksperckie doświadczenie (8+ lat) w pracy w roli Data Architekta oraz Data Engineera lub pokrewnych rolach, szczególnie w projektach transformacyjnych i migracyjnych

⚡ Ekspercka znajomość platformy Databricks (architektura, multi-workspace, klastry, security) oraz Apache Spark (PySpark, optymalizacja zapytań)

⚡ Praktyczne doświadczenie z Delta Lake i znajomość koncepcji zarządzania danymi, w tym wdrożenia Unity Catalog oraz kontroli dostępu

⚡ Wieloletnie doświadczenie z Infrastrukturą jako Kodu (IaC) przy użyciu Terraform w kontekście zarządzania infrastrukturą chmurową i Databricks (audytowalność, powtarzalność)

⚡ Biegła znajomość środowisk chmurowych, a w szczególności Microsoft Azure (ADLS, networking)

⚡ Bardzo dobra znajomość Python i jego zastosowań w Data Engineering

⚡ Umiejętność podejmowania inicjatywy, samodzielność i liderowanie technicznym decyzjom⚡ Angielski na poziomie C1 (płynna komunikacja) umożliwiający swobodną komunikację w zespole.

Mile widziane:

⚡ Praktyczne doświadczenie z Delta Live Tables

⚡ Znajomość lub doświadczenie w pracy z hurtowniami danych/narzędziami migracyjnymi takimi jak Azure Synapse, Yellowbrick, SSIS, Boomi lub podobnymi systemami legacy

⚡ Doświadczenie w integracji systemów Identity Provisioning (np. SailPoint) z Databricks

⚡ Doświadczenie w projektowaniu i optymalizacji przepływów danych za pomocą DBT

Jak działamy i co oferujemy?

? Stawiamy na otwartą komunikację zarówno w procesie rekrutacji, jak i po zatrudnieniu - zależy nam na klarowności informacji dotyczących procesu i zatrudnienia.

? Do rekrutacji podchodzimy po ludzku, dlatego upraszczamy nasze procesy rekrutacyjne, żeby były możliwie jak najprostsze i przyjazne kandydatowi.

? Pracujemy w imię zasady remote first, więc praca zdalna to u nas norma, a wyjazdy służbowe ograniczamy do minimum.

? Oferujemy prywatną opiekę medyczną (Medicover) oraz kartę Multisport dla kontraktorów.

Kraków - Oferty pracy w okolicznych lokalizacjach