Stanowisko związane z rozwojem i budową Platformy Danych, implementacją rozwiązań „Data Lakehouse” oraz „Data Intelligence Platform”, a także kontrolą jakości danych i wdrażaniem najlepszych praktyk w obszarze data management oraz data governance.

Data Platform Engineer

Twój zakres obowiązków

• Tworzenie kodu oprogramowania gotowego do zaimplementowania w Platformie Danych, w szczególności w zakresie tworzenia struktur danych, przepływów przekształcania danych oraz monitoringu ich jakości.
• Optymalizacja skryptów SQL oraz Python w zakresie efektywności przetwarzania w środowisku chmurowym Platformy Danych.
• Ścisła współpraca z analitykami danych, inżynierami DevOps oraz architektem rozwiązania w procesie zmian i budowy Platformy Danych.
• Realizacja wymagań funkcjonalnych i niefunkcjonalnych w obszarze zmian przepływów danych.
• Implementacja rozwiązań w obszarze inżynierii danych specyficznych dla produktów klasy „Data Lakehouse” oraz „Data Intelligence Platform”.
• Definiowanie reguł oraz budowa narzędzi wspomagających proces kontroli jakości danych gromadzonych w Platformie Danych.
• Rozwój i wdrażanie procesów i najlepszych praktyk w obszarze data management oraz data governance.
• Współpraca z administratorami systemów informatycznych w zakresie identyfikowania oraz tworzenia architektury optymalnych interfejsów komunikacji z Platformą Danych w środowisku chmurowym.
• Identyfikacja, integracja, propagowanie oraz konfiguracja interfejsów wymiany danych referencyjnych pomiędzy Platformą Danych a systemami źródłowymi.

Nasze wymagania

• Doświadczenie na stanowiskach inżyniera danych, programisty hurtowni danych, analityka danych, dewelopera business intelligence lub pokrewne.
• Doświadczenie w pracy z projektami obejmującymi wdrożenie lub zmiany Hurtowni Danych, Platform Danych, Lakehouses.
• Doświadczenie w pracy z dokumentacją: source to target matrix, business requirements, business glossary.
• Udział w złożonych projektach w obszarze „data” polegających na integracji wielu źródeł danych.
• Optymalizacja kodu SQL oraz Python z wykorzystaniem modeli AI.
• Doświadczenie w testach odbiorczych z kluczowymi interesariuszami w organizacji.
• Doświadczenie w pracy zespołowej w środowisku Agile.
• Zaawansowana umiejętność posługiwania się językiem ANSI-SQL.
• Zaawansowana umiejętność posługiwania się językiem Python.
• Bardzo dobre zdolności komunikacyjne, łatwość w nawiązywaniu relacji biznesowych w środowisku zdalnym.
• Wiedza i praktyczna znajomość standardów zarządzania zmianą CI/CD.
• Dokładność i przedsiębiorcza postawa w realizacji powierzonych zadań.
• Praktyczna znajomość technologii Azure Databricks Lakehouse.
• Doświadczenie w wykorzystaniu dostępnych Databricks connectors na potrzeby integracji źródeł systemowych.
• Umiejętność projektowania modeli danych, w tym star i snowflake schemas, dla efektywnej analizy danych.
• Umiejętność tworzenia od podstaw oraz orkiestracji złożonych przepływów danych w architekturze medalionu w rozwiązaniach klasy Enterprise Data Platform.
• Znajomość technik optymalizacji wydajności hurtowni danych, takich jak indeksowanie, partycjonowanie i buforowanie.
• Monitorowanie nowych technologii i trendów w zakresie hurtowni danych i proponowanie ich wdrożenia w celu optymalizacji platformy.
• Angielski B2/C1.