124 482
18 356
Big Data Engineer Miejsce pracy: Warszawa Technologie, których używamy Wymagane Spark Python Scala Hadoop SQL Hive Kudu HBase Iceberg Maven Mile widziane Jira Confluence Kubeflow Kafka Apache Nifi System operacyjny Linux O projekcie Dołączysz do zespołu, który pracuje nad najbardziej zaawansowanymi inicjatywami Big Data w bankowości. Jesteśmy 12-osobowym zespołem Scrumowym, realizującym zarówno projekty biznesowe, jak i R&D. Odpowiadamy m.in. za: •budowę i rozwój rozwiązań streamingowych, które znacząco skróciły czas przetwarzania danych pod raportowanie, •ścisłą współpracę z zespołem Data Science – wdrażanie i rozwijanie modeli ML/AI w środowiskach produkcyjnych, •wsparcie architektoniczne i wdrożeniowe dla innych zespołów projektowych, •rozwój platformy Big Data na Cloudera CDP / Hadoop, •przygotowania do migracji do chmury (GCP, Azure). Pracujemy z dużą skalą danych, nowoczesnym ekosystemem narzędzi i wieloma projektami równolegle. Jeśli Big Data, ML, streaming i architektura danych to obszary, które Cię napędzają — będzie to dla Ciebie świetne miejsce. Spotykamy się z zespołem 2x w miesiącu w Warszawie. Twój zakres obowiązków Rozwój i utrzymanie procesów danych w Spark (Python lub Scala) Tworzenie i optymalizacja pipeline’ów Big Data (batch streaming) Praca na platformie Hadoop/Cloudera (CDP) Integracja danych z wielu źródeł (wewnętrznych i zewnętrznych) Implementacja standardów inżynierii danych: modelowanie, testowanie, automatyzacja, dokumentacja Wsparcie architektów i zespołów projektowych w tworzeniu i wdrażaniu rozwiązań danych Praca z formatami danych: JSON, PARQUET, ORC, AVRO Wsparcie w rozwoju środowiska ML/AI (np. Kubeflow, Spark ML, pipelines) Przygotowanie środowiska pod przyszłe prace w chmurze (GCP/Azure) Nasze wymagania Min. 4 lata doświadczenia w pracy ze Spark (Python lub Scala) Dobra znajomość koncepcji Big Data, Data Warehouse, Data Governance Doświadczenie z platformą Hadoop Cloudera lub Hortonworks Znajomość dobrych praktyk inżynierii danych przy dużej skali Bardzo dobra znajomość SQL Doświadczenie w integracji danych z wielu źródeł Znajomość formatów danych: JSON, PARQUET, ORC, AVRO Rozumienie typów baz danych i scenariuszy użycia (Hive, Kudu, HBase, Iceberg itp.) Znajomość narzędzi do budowy projektów (np. Maven) Mile widziane Praktyczna znajomość metodyk Agile (Scrum, Kanban), narzędzia Jira/Confluence Doświadczenie z Kubeflow Znajomość narzędzi streamingowych: Kafka, Apache Nifi Praktyczna wiedza w zakresie CI/CD i automatyzacji pipeline’ów Tak organizujemy naszą pracę Tak pracujemy u klienta koncentrujesz się na jednym projekcie masz wpływ na wybór narzędzi i technologii masz wpływ na rozwiązania technologiczne masz wpływ na produkt koncentrujesz się na rozwoju produktu koncentrujesz się na utrzymaniu kodu agile scrum kanban Tak pracujemy nad projektem Continuous Deployment Continuous Integration środowiska testowe Takie dajemy możliwości rozwoju budżet rozwojowy mentoring szkolenia wewnątrzfirmowe szkolenia zewnętrzne wymiana wiedzy technicznej w firmie Benefity dofinansowanie zajęć sportowych prywatna opieka medyczna dofinansowanie nauki języków możliwość pracy zdalnej elastyczny czas pracy spotkania integracyjne firmowa biblioteka brak dress code’u kawa / herbata napoje parking dla pracowników strefa relaksu Etapy rekrutacji Rozmowa telefoniczna Rozmowa techniczna Decyzja GOLDENORE ITC sp. z o.o. Goldenore ITC is a Polish company operating in the IT market, specializing in expert outsourcing. Using efficient, proven models and solutions, we can guarantee our clients optimal project execution, precisely tailored in resources and timing to meet their needs. For candidates, we provide opportunities for dynamic career growth, supporting them throughout the entire collaboration process. Klikając w przycisk „Aplikuj” lub w inny sposób wysyłając zgłoszenie rekrutacyjne, zgadzasz się na przetwarzanie Twoich danych osobowych przez GOLDENORE ITC sp. z o.o. z siedzibą w: Aleje Jerozolimskie 160, 02-326 Warszawa (Pracodawca), jako administratora danych osobowych w celu przeprowadzenia rekrutacji na stanowisko wskazane w ogłoszeniu. Twoje dane osobowe będą przetwarzane w oparciu o następujące podstawy prawne: (a) aby podjąć działania na Twoje żądanie przed zawarciem umowy (np. informacje o oczekiwanym wynagrodzeniu i dostępności do rozpoczęcia pracy); (b) w oparciu o nasz prawnie uzasadniony interes (np. imię, nazwisko, data urodzenia, dane kontaktowe, wykształcenie, kwalifikacje zawodowe, przebieg dotychczasowego zatrudnienia); c) w oparciu o Twoją zgodę, która wyrażona jest poprzez przeslanie dokumentów aplikacyjnych zawierających takie informacje jak np. wizerunek czy zainteresowania.Podanie wszystkich danych osobowych, o których mowa powyżej jest dobrowolne, natomiast dane wymienione w lit. a) i b) są niezbędne do wzięcia udziału w rekrutacji. Niepodanie danych skutkuje brakiem możliwości rozpatrzenia kandydatury. Podanie pozostałych danych jest dobrowolne, ale może pomóc w sprawnym przeprowadzeniu procesu rekrutacji.Masz prawo żądać dostępu do Twoich danych (w tym uzyskania ich kopii), sprostowania danych, ich usunięcia, ograniczenia przetwarzania, przeniesienia, jak również wniesienia sprzeciwu wobec ich przetwarzania. Masz także prawo wniesienia skargi do Prezesa Urzędu Ochrony Danych Osobowych.Twoje dane osobowe mogą zostać przekazane dostawcom usługi publikacji ogłoszeń o pracę, dostawcom systemów do zarządzania rekrutacjami, dostawcom usług IT (hosting), dostawcom systemów informatycznych.Podane przez Ciebie dane osobowe nie będą wykorzystywane w celu profilowania albo podejmowania decyzji w sposób zautomatyzowany.Twoje dane osobowe będą przetwarzane przez okres maks. 1 roku od zakończenia publikacji ogłoszenia, chyba, że wyraziłeś odrębną zgodę na wykorzystanie Twoich danych osobowych w przyszłych rekrutacjach.W celu realizacji praw lub w przypadku jakichkolwiek pytań związanych z przetwarzaniem Twoich danych osobowych skontaktuj się z nami pod adresem: tomasz.kucfir@goldenoreitc.pl.