Wraz z naszym partnerem z branży ubezpieczeniowej, poszukujemy eksperta/ekspertki na stanowisko Data Architect, który dołączy do strategicznego projektu budowy DataHubu – rozwiązania klasy mini hurtowni danych, wspierającego działalność operacyjną, raportową, analityczną oraz rozwiązania z zakresu generatywnej sztucznej inteligencji.
Projekt oparty jest o architekturę medalionową (bronze/silver/gold) oraz model Data Vault 2.0 i będzie rozwijany najpierw dla spółki w Niemczech, a następnie wdrażany globalnie we wszystkich oddziałach grupy.
⚙ Technologie używane w projekcie: Databricks, Apache Spark, Delta Lake, Data Factory, Data Lake (ADLS), Synapse, Azure SQL, Event Hubs, Terraform, Kubernetes (AKS), Docker, Python, SQL.
responsibilities :
Projektowanie i nadzór nad wdrażaniem skalowalnych, wydajnych modeli danych integrujących wiele źródeł.
Tworzenie dokumentacji architektonicznej i mentoring mniej doświadczonych inżynierów.
Zapewnienie jakości danych: automatyczna walidacja, wykrywanie anomalii, monitoring.
Definiowanie standardów, wzorców i najlepszych praktyk w zakresie inżynierii danych.
Projektowanie rozwiązań do przetwarzania danych strumieniowego i wsadowego.
Ustalanie polityk dostępu, zasad zarządzania danymi i ram bezpieczeństwa.
Bliska współpraca z zespołami DevOps, Data Engineering oraz AI/ML.
requirements-expected :
Doświadczenie z Azure Databricks oraz Azure DevOps.
Bardzo dobra znajomość Microsoft Azure.
Znajomość Apache Spark / PySpark.
Biegłość w Python i SQL.
offered :
Tryb pracy zdalnej z okazjonalnymi spotkaniami zespołu w biurze w centrum Warszawy (raz w miesiącu).
Udział w strategicznym projekcie realizowanym dla międzynarodowego Partnera Biznesowego.
Realny wpływ na architekturę i rozwój rozwiązania wdrażanego w wielu krajach.
Dedykowane wsparcie opiekuna Connectis przez cały czas trwania współpracy.
Współpracę z doświadczonym zespołem inżynierów danych i DevOpsów.
Możliwość przedłużenia współpracy w kolejnych fazach programu.
5000 PLN za polecenie znajomego do naszych projektów.
