Razem z naszym Klientem, liderem w dziedzinie consultingu, poszukujemy specjalisty na stanowisko Big Data Developer. Nasz Klient to globalna firma doradczo-technologiczna specjalizująca się w usługach transformacji cyfrowej, integracji systemów oraz rozwoju rozwiązań IT dla wielu sektorów gospodarki. Projekt dotyczy migracji ogromnych wolumenów danych do nowoczesnych, otwartych formatów takich jak ORC/Parquet.
responsibilities :
Projektowanie procesów obsługujących bardzo duże zbiory danych, w tym dzielenie danych na mniejsze fragmenty (chunking), konwersję do otwartych formatów oraz ładowanie danych do Hive z zachowaniem wydajności i integralności.
Migracja danych z formatu SAS SPDE w Hadoop do formatów otwartych (ORC/Parquet) oraz ich przeniesienie do środowiska VAST.
Współpraca z globalnymi zespołami klienta, raportowanie postępów i rozwiązywanie problemów związanych z dużą skalą danych.
Przygotowanie danych do udostępnienia poprzez Hive, w tym dla konsumentów korzystających z narzędzi Altair i Python.
Optymalizacja i automatyzacja procesów ETL/ELT w środowisku Big Data.
requirements-expected :
Minimum 6 lat doświadczenia w pracy z platformami Big Data oraz zaawansowanej obróbce i analizie bardzo dużych zbiorów danych.
Praktyka w korzystaniu z silników i narzędzi przetwarzania: Hive (External Tables, Metastore, HiveServer2), Spark oraz Python.
Bardzo dobra znajomość DML oraz stosowania partycjonowania w pracy z ogromnymi zbiorami danych.
Doświadczenie w zarządzaniu i optymalizacji przechowywania danych w środowiskach HDFS i VAST.
Znajomość formatów danych: Avro, ORC, Parquet.
Znajomość formatów tabel: Delta, Iceberg.
Otwartość na pracę 100% zdalną.
Język angielski - C1.
offered :
Uczestnictwo w spotkaniach integracyjnych oraz meetupach technologicznych, umożliwiających dzielenie się wiedzą i doświadczeniem.
Wsparcie dedykowanego opiekuna Connectis, który zawsze jest dostępny, by pomóc Ci w sprawach związanych z projektem.
Rozwój kariery i długofalową współpracę w firmie o ugruntowanej pozycji na rynku.
5000 PLN za polecenie znajomego do naszych projektów.
Dostęp do najnowszych technologii i narzędzi pracy.
