Dołącz do nas i weź udział w rozwoju nowoczesnej platformy danych opartej o architekturę Data Lakehouse. Szukamy doświadczonego Data Engineera / Analytics Engineera, który nie tylko świetnie czuje się w Databricks, ale również lubi pracę blisko biznesu – tłumaczenie potrzeb analitycznych na rozwiązania techniczne będzie kluczowym elementem tej roli.
To stanowisko dla osoby, która chce mieć realny wpływ na to, jak dane są modelowane, przetwarzane i wykorzystywane przez organizację.
Pracujemy zdalnie, mile widziane sporadyczne wizyty w Warszawie.
responsibilities :
projektowanie i rozwój rozwiązań w architekturze Data Lakehouse (Databricks),
tworzenie, optymalizacja i utrzymanie jobów danych w PySpark / Spark SQL,
integracja danych z wielu źródeł (API, batch, streaming),
modelowanie danych (modele konceptualne, logiczne i fizyczne) oraz ich implementacja w Databricks,
ścisła współpraca z biznesem i analitykami w celu zrozumienia potrzeb raportowych i analitycznych,
udział w ustalaniu standardów jakości danych, schematów i ich ewolucji,
wdrażanie i rozwój procesów ETL / ELT w dużej skali,
praca z Delta Lake, Unity Catalog, Delta Live Tables,
rozwój i utrzymanie procesów CI/CD dla rozwiązań danych,
dbanie o wydajność, skalowalność i bezpieczeństwo przetwarzania danych w chmurze.
requirements-expected :
doświadczenie w pracy z Data Lakehouse architecture,
bardzo dobra znajomość Databricks, w tym:
Delta Lake,
Unity Catalog,
Jobs, Workflows, Clusters, Notebooks,
Asset Bundles, Repos,
zaawansowana znajomość PySpark / Python Spark (tworzenie i optymalizacja jobów),
bardzo dobra znajomość SQL, w tym optymalizacja zapytań w Databricks,
doświadczenie z Delta Live Tables,
praktyka w integracji danych z różnych źródeł (API, streaming, batch),
doświadczenie w pracy w chmurze (Azure lub AWS),
bardzo dobra znajomość koncepcji ETL / ELT oraz Big Data,
