Wspólnie z naszym partnerem z branży ubezpieczeniowej poszukujemy eksperta/ki na pozycję ✨Data Engineer (Azure)✨
Nasz klient realizuje strategiczny, wieloletni program wdrożenia DataHubów – rozwiązania wspierającego różne obszary biznesowe poprzez integrację różnych danych w organizacji. Projekt oparty jest o architekturę medalinową (bronze/silver/gold) oraz model Data Vault 2.0, a jego celem jest stworzenie skalowalnej mini hurtowni danych wdrażanej kolejno w spółkach zagranicznych naszego Partnera Biznesowego.
responsibilities :
Modelowanie danych z uwzględnieniem wzorców logicznych i architektury Data Vault 2.0.
Projektowanie i wdrażanie skalowalnych Data Hubów w środowisku Azure i Databricks.
Wdrażanie funkcji walidacji danych, wykrywania anomalii i monitoringu jakości danych.
Optymalizacja przetwarzania oraz przechowywania danych dla dużych wolumenów.
Ścisła współpraca z architektami danych, zespołami AI i przedstawicielami biznesu.
Tworzenie dokumentacji modeli danych, potoków oraz decyzji projektowych.
Tworzenie rozwiązań umożliwiających analitykę w czasie rzeczywistym.
Budowanie oraz optymalizacja potoków ETL/ELT w Spark/PySpark.
Automatyzacja procesów z użyciem CI/CD (Azure DevOps).
Udział w spotkaniach i ceremoniach Agile (Scrum).
requirements-expected :
Minimum 4 lata doświadczenia na stanowisku Data Engineer.
Zdolność do tworzenia wydajnych rozwiązań dla dużych zbiorów danych.
Bardzo dobra znajomość Pythona, Spark, PySpark oraz SQL.
Znajomość Azure, Azure Databricks, Azure DevOps.
Język angielski - min. B2.
offered :
Tryb pracy zdalnej z okazjonalnymi spotkaniami zespołu w biurze w centrum Warszawy (raz w miesiącu).
Udział w strategicznym projekcie realizowanym dla międzynarodowego Partnera Biznesowego.
Realny wpływ na architekturę i rozwój rozwiązania wdrażanego w wielu krajach.
Dedykowane wsparcie opiekuna Connectis przez cały czas trwania współpracy.
Współpracę z doświadczonym zespołem inżynierów danych i DevOpsów.
Możliwość przedłużenia współpracy w kolejnych fazach programu.
5000 PLN za polecenie znajomego do naszych projektów.
