Informacje o stanowisku

technologies-expected :

• Python
• PySpark
• Data bricks
• Delta Lake
• SQL
• Bronze / Silver / Gold

• Azure Data Factory
• Azure DevOps
• Git
• CI/CD

• Obecnie poszukujemy Data Engineera. Projekt realizowany jest dla Munich Re i dotyczy dużej transformacji środowiska danych – migracji z systemów opartych o SQL Server do platformy Databricks / Delta Lake.
• Zakres obejmuje migrację 3500–4000 baz danych (ok. 2 TB) oraz replikację danych do Databricks w różnych strukturach i schematach, przy docelowych wolumenach sięgających petabajtów danych.
• Projekt koncentruje się na inżynierii danych klasy enterprise oraz developmentcie, a nie na analityce czy raportowaniu.

• Analiza i zrozumienie złożonej logiki biznesowej zapisanej w procedurach SQL (stored procedures)
• Przepisanie i przeprojektowanie tej logiki do Python / PySpark w środowisku Databricks
• Tworzenie produkcyjnego kodu transformacji danych (moduły, pakiety, komponenty wielokrotnego użytku)
• Stosowanie dobrych praktyk inżynierii oprogramowania (clean code, OOP, refaktoryzacja)
• Projektowanie i rozwój modeli danych w architekturze Medallion (Bronze / Silver / Gold)
• Praca na bardzo dużych wolumenach danych oraz w środowiskach przetwarzania równoległego
• Udział w code review oraz dyskusjach technicznych

• Bardzo dobra znajomość Python oraz PySpark
• Doświadczenie z Databricks i Delta Lake
• Praca z dużymi repozytoriami kodu (nie tylko notebooki)
• Bardzo dobra znajomość SQL (analiza złożonej logiki)
• Doświadczenie w programowaniu obiektowym (OOP)
• Znajomość zasad clean code i utrzymywalności kodu
• Doświadczenie w pracy w środowiskach enterprise
• Umiejętność dokładnej analizy istniejącego kodu (linia po linii)
• Silne podstawy modelowania danych (transakcyjne i analityczne)
• Doświadczenie w przebudowie modeli danych podczas migracji
• Znajomość architektury warstwowej (Bronze / Silver / Gold)
• Bardzo dobra znajomość języka angielskiego

• Praca w firmie, która otrzymała nagrodę Great Place to Work Award i Diamentowy Certyfikat Forbesa.
• Pakiet benefitów (karta multisport, prywatna opieka medyczna, ubezpieczenie grupowe)
• Udział w projekcie dla międzynarodowego klienta
• Stabilną współpracę w profesjonalnym środowisku
• Środowisko pracy ludzi otwartych na dzielenie się i wymianę wiedzą IT.

• dofinansowanie zajęć sportowych
• prywatna opieka medyczna
• dofinansowanie nauki języków
• spotkania integracyjne

Opole - Oferty pracy w okolicznych lokalizacjach