Dla naszego Klienta poszukujemy doświadczonej osoby w roli Senior Data Engineer do długofalowego projektu związanego z transformacją platformy danych w międzynarodowym środowisku ubezpieczeniowym. Projekt koncentruje się na migracji rozwiązań opartych o SQL Server do nowoczesnej platformy Databricks oraz budowie skalowalnych procesów data engineeringowych w środowisku cloud.
responsibilities :
Analiza oraz refaktoryzacja złożonej logiki SQL (stored procedures).
Implementacja transformacji danych w Python oraz PySpark.
Projektowanie i rozwój modeli danych w architekturze Medallion (Bronze / Silver / Gold).
Tworzenie skalowalnych procesów transformacji danych w środowisku Databricks.
Dbanie o jakość kodu, jego modularność oraz utrzymywalność.
Udział w code review oraz decyzjach architektonicznych.
Praca z dużymi wolumenami danych w środowisku enterprise.
requirements-expected :
Bardzo dobra znajomość Python oraz PySpark.
Doświadczenie w pracy z Databricks oraz Delta Lake.
Bardzo dobra znajomość SQL i umiejętność analizy złożonej logiki bazodanowej.
Doświadczenie w projektach data engineeringowych.
Znajomość zasad clean code oraz OOP.
Doświadczenie w pracy z dużymi repozytoriami kodu.
Doświadczenie w modelowaniu danych.
Bardzo dobra znajomość języka angielskiego.
offered :
Współpracę w modelu 100% zdalnym.
Długofalowy projekt w międzynarodowym środowisku.
Współpracę w modelu B2B.
Pracę przy nowoczesnej platformie danych.
Udział w dużym projekcie transformacji technologicznej.
