⏳ Czas projektu: 3 miesiące
Forma pracy: 100% zdalnie
⏰ Start: 26.08
Cześć!
Do projektu, który realizujemy dla naszego klienta w USA poszukujemy Senior Data Engineera.
Projekt polega na migracji tabel z Hive do Unity Catalog. Głównym narzędziem wykorzystywanym w projekcie jest platforma DataBricks, a w szczególności UCX (zmodyfikowanym przez klienta), które posiada akceleratory pomagające w migracji. Rola nie wymaga doświadczenia związanego z transformacjami danych itp., natomiast możliwe że będzie zatrudniona osoba spotka się z bardzo prostymi DevOpsowym zadaniami takimi jak klonowanie najczęściej wykorzystywanych tabel z Hive do Unity. Najbardziej czasochłonnym zadaniem będzie ręczna zmiana przestrzeni nazw tabel z 2 poziomów na 3 poziomy.
Praca w kameralnym zespole -> docelowo po stronie klienta pracować będzie 2 Data Engineerów i 1 Data Archiktekt, a ich pracę wspierać będą zespół dostarczony przez odbiorcę projektu. Ze względu na usytuowanie klienta w Kalifornii, wymagana jest dostępność w godzinach popołudniowych (ok. 3-godzinny overlap, np. między 17-20 czasu polskiego).
Zakres obowiązków:
Zaprojektowanie i przeprowadzenie migracji z Hive do Unity Catalog
Projektowanie i rozwój środowisk danych dostosowanych do potrzeb odbiorcy końcowego (m. in. z rozwiązaniami Microsoft)
Tworzenie specyfikacji projektowych
Ścisła współpraca z zespołem data engineerów, data scientistów, architektów itp z Polski oraz USA
Wymagania:
⚡ Udokumentowane solidne doświadczenie w pracy jako Data Engineer
⚡ Bardzo dobra znajomość platformy DataBricks (w szczególności UCX)
⚡ Bardzo dobra znajomość Python
⚡ Znajomość Unity Catalog oraz Hive
⚡ Doświadczenie w przeprowadzaniu migracji danych
⚡ Doświadczenie w korzystaniu z Microsoft Azure (np. Data Factory, Synapse, Logic Apps, Data Lake)
⚡ Doświadczenie w pracy z ustrukturyzowanymi oraz nieustrukturyzowanymi danymi
⚡ Umiejętności interpersonalne i zespołowe
⚡ Umiejętność podejmowania inicjatywy i samodzielność
⚡ Angielski na poziomie umożliwiającym swobodną komunikację w zespole
Mile widziane:
⚡ Doświadczenie w projektowaniu i optymalizacji przepływów danych za pomocą, DBT, SSIS, TimeXtender lub podobnych rozwiązań (ETL, ELT)
⚡ Doświadczenie z dowolnymi platformami big data lub noSQL (Redshift, Hadoop, EMR, Google Data itp.)
Jak działamy i co oferujemy?
Stawiamy na otwartą komunikację zarówno w procesie rekrutacji jak i po zatrudnieniu - zależy nam na klarowności informacji dotyczących procesu i zatrudnienia
Do rekrutacji podchodzimy po ludzku, dlatego upraszczamy nasze procesy rekrutacyjne, żeby były możliwie jak najprostsze i przyjazne kandydatowi
Pracujemy w imię zasady "remote first", więc praca zdalna to u nas norma, a wyjazdy służbowe ograniczamy do minimum
Oferujemy prywatną opiekę medyczną (Medicover) oraz kartę Multisport dla kontraktorów