75 523
18 783
Data Platform Engineer Miejsce pracy: Warszawa Technologie, których używamy Wymagane ANSI-SQL Python Azure Databricks Databricks connectors O projekcie Stanowisko związane z rozwojem i budową Platformy Danych, implementacją rozwiązań „Data Lakehouse” oraz „Data Intelligence Platform”, a także kontrolą jakości danych i wdrażaniem najlepszych praktyk w obszarze data management oraz data governance. Twój zakres obowiązków Tworzenie kodu oprogramowania gotowego do zaimplementowania w Platformie Danych, w szczególności w zakresie tworzenia struktur danych, przepływów przekształcania danych oraz monitoringu ich jakości. Optymalizacja skryptów SQL oraz Python w zakresie efektywności przetwarzania w środowisku chmurowym Platformy Danych. Ścisła współpraca z analitykami danych, inżynierami DevOps oraz architektem rozwiązania w procesie zmian i budowy Platformy Danych. Realizacja wymagań funkcjonalnych i niefunkcjonalnych w obszarze zmian przepływów danych. Implementacja rozwiązań w obszarze inżynierii danych specyficznych dla produktów klasy „Data Lakehouse” oraz „Data Intelligence Platform”. Definiowanie reguł oraz budowa narzędzi wspomagających proces kontroli jakości danych gromadzonych w Platformie Danych. Rozwój i wdrażanie procesów i najlepszych praktyk w obszarze data management oraz data governance. Współpraca z administratorami systemów informatycznych w zakresie identyfikowania oraz tworzenia architektury optymalnych interfejsów komunikacji z Platformą Danych w środowisku chmurowym. Identyfikacja, integracja, propagowanie oraz konfiguracja interfejsów wymiany danych referencyjnych pomiędzy Platformą Danych a systemami źródłowymi. Nasze wymagania Doświadczenie na stanowiskach inżyniera danych, programisty hurtowni danych, analityka danych, dewelopera business intelligence lub pokrewne. Doświadczenie w pracy z projektami obejmującymi wdrożenie lub zmiany Hurtowni Danych, Platform Danych, Lakehouses. Doświadczenie w pracy z dokumentacją: source to target matrix, business requirements, business glossary. Udział w złożonych projektach w obszarze „data” polegających na integracji wielu źródeł danych. Optymalizacja kodu SQL oraz Python z wykorzystaniem modeli AI. Doświadczenie w testach odbiorczych z kluczowymi interesariuszami w organizacji. Doświadczenie w pracy zespołowej w środowisku Agile. Zaawansowana umiejętność posługiwania się językiem ANSI-SQL. Zaawansowana umiejętność posługiwania się językiem Python. Bardzo dobre zdolności komunikacyjne, łatwość w nawiązywaniu relacji biznesowych w środowisku zdalnym. Wiedza i praktyczna znajomość standardów zarządzania zmianą CI/CD. Dokładność i przedsiębiorcza postawa w realizacji powierzonych zadań. Praktyczna znajomość technologii Azure Databricks Lakehouse. Doświadczenie w wykorzystaniu dostępnych Databricks connectors na potrzeby integracji źródeł systemowych. Umiejętność projektowania modeli danych, w tym star i snowflake schemas, dla efektywnej analizy danych. Umiejętność tworzenia od podstaw oraz orkiestracji złożonych przepływów danych w architekturze medalionu w rozwiązaniach klasy Enterprise Data Platform. Znajomość technik optymalizacji wydajności hurtowni danych, takich jak indeksowanie, partycjonowanie i buforowanie. Monitorowanie nowych technologii i trendów w zakresie hurtowni danych i proponowanie ich wdrożenia w celu optymalizacji platformy. Angielski B2/C1. Tak organizujemy naszą pracę Tak pracujemy wewnątrz organizacji Tak pracujemy nad projektem Continuous Deployment Continuous Integration SQUARE ONE RESOURCES sp. z o.o. At Square One Poland we link IT experts with the business. With over 25 years of experience, we specialize in recruitment processes on a global scale. Despite years of experience, we still have a startup DNA and this is our advantage. Our offices are located in London and Warsaw, however, we can reach clients from all over the world, from start-ups to big worldwide corporations. Klikając w przycisk „Aplikuj” lub w inny sposób wysyłając zgłoszenie rekrutacyjne, zgadzasz się na przetwarzanie Twoich danych osobowych przez SQUARE ONE RESOURCES sp. z o.o. z siedzibą w: Puławska 2, 02-566 Warszawa (Pracodawca), jako administratora danych osobowych w celu przeprowadzenia rekrutacji na stanowisko wskazane w ogłoszeniu. Twoje dane osobowe będą przetwarzane w oparciu o następujące podstawy prawne: (a) aby podjąć działania na Twoje żądanie przed zawarciem umowy (np. informacje o oczekiwanym wynagrodzeniu i dostępności do rozpoczęcia pracy); (b) w oparciu o nasz prawnie uzasadniony interes (np. imię, nazwisko, data urodzenia, dane kontaktowe, wykształcenie, kwalifikacje zawodowe, przebieg dotychczasowego zatrudnienia); c) w oparciu o Twoją zgodę, która wyrażona jest poprzez przeslanie dokumentów aplikacyjnych zawierających takie informacje jak np. wizerunek czy zainteresowania.Podanie wszystkich danych osobowych, o których mowa powyżej jest dobrowolne, natomiast dane wymienione w lit. a) i b) są niezbędne do wzięcia udziału w rekrutacji. Niepodanie danych skutkuje brakiem możliwości rozpatrzenia kandydatury. Podanie pozostałych danych jest dobrowolne, ale może pomóc w sprawnym przeprowadzeniu procesu rekrutacji.Masz prawo żądać dostępu do Twoich danych (w tym uzyskania ich kopii), sprostowania danych, ich usunięcia, ograniczenia przetwarzania, przeniesienia, jak również wniesienia sprzeciwu wobec ich przetwarzania. Masz także prawo wniesienia skargi do Prezesa Urzędu Ochrony Danych Osobowych.Twoje dane osobowe mogą zostać przekazane dostawcom usługi publikacji ogłoszeń o pracę, dostawcom systemów do zarządzania rekrutacjami, dostawcom usług IT (hosting), dostawcom systemów informatycznych.Podane przez Ciebie dane osobowe nie będą wykorzystywane w celu profilowania albo podejmowania decyzji w sposób zautomatyzowany.Twoje dane osobowe będą przetwarzane przez okres maks. 1 roku od zakończenia publikacji ogłoszenia, chyba, że wyraziłeś odrębną zgodę na wykorzystanie Twoich danych osobowych w przyszłych rekrutacjach.W celu realizacji praw lub w przypadku jakichkolwiek pytań związanych z przetwarzaniem Twoich danych osobowych skontaktuj się z nami pod adresem: DeliveryTeam@squareoneresources.com.