Knauf oznacza możliwości. Ta ekscytująca rola otwiera idealną szansę na rozpoczęcie i rozwój imponującej kariery w kulturze opartej na wartościach.

DCE - Senior Data Engineer

Obowiązki

• Projektowanie, budowanie i optymalizacja skalowalnych potoków danych do przetwarzania danych wsadowych i w czasie rzeczywistym.
• Tworzenie i wdrażanie przepływów ETL/ELT, zapewniając efektywne pobieranie, transformację i przechowywanie danych.
• Wykorzystywanie metodologii Data Vault 2.0 w celu umożliwienia skalowalnego i elastycznego modelowania danych.
• Zapewnienie spójności, niezawodności i zarządzania danymi w jeziorach danych, hurtowniach danych i operacyjnych magazynach danych.
• Optymalizacja wydajności i efektywności kosztowej infrastruktury danych na platformie Azure (lub innych platformach chmurowych).
• Wdrażanie i zarządzanie frameworkami do przetwarzania dużych zbiorów danych, takimi jak Apache Spark, Databricks, Kafka lub Azure Event Hub.
• Zwiększanie bezpieczeństwa danych i zgodności z regulacjami poprzez integrację RBAC, szyfrowania oraz ram regulacyjnych (GDPR, CCPA, HIPAA) w infrastrukturze danych.
• Tworzenie narzędzi automatyzacji do orkiestracji potoków danych z wykorzystaniem Airflow, Azure Data Factory lub Prefect.
• Monitorowanie, rozwiązywanie problemów i optymalizacja potoków danych, zapewniając minimalny czas przestoju i szybkie odzyskiwanie po awariach.
• Współpraca z federacyjnymi zespołami inżynierskimi w celu dostosowania architektury danych do celów biznesowych i inżynieryjnych.
• Współpraca z data scientistami i analitykami biznesowymi w celu dostarczania czystych, niezawodnych i skalowalnych zbiorów danych do zaawansowanej analityki i uczenia maszynowego.
• Ocena i wdrażanie nowych technologii, zapewniając ciągłe doskonalenie najlepszych praktyk inżynierii danych.
• Mentorowanie i wspieranie młodszych inżynierów, promując doskonałość techniczną i dzielenie się wiedzą w zespole.

Wymagania

• Tytuł licencjata lub magistra w dziedzinie informatyki, inżynierii danych, systemów informacyjnych lub pokrewnej.
• Ponad 5 lat doświadczenia w inżynierii danych, tworzeniu procesów ETL lub technologiach big data.
• Ekspertyza w projektowaniu i optymalizacji przepływów ETL/ELT z wykorzystaniem narzędzi takich jak dbt, Airflow, Azure Data Factory lub Apache NiFi.
• Praktyczne doświadczenie z natywnymi platformami danych w chmurze, w tym Azure Synapse, Databricks, Snowflake lub BigQuery.
• Silna znajomość technik modelowania danych, w tym Data Vault 2.0, schematów gwiazdy oraz strategii normalizacji.
• Doświadczenie z frameworkami do przetwarzania danych na dużą skalę (Apache Spark, Hadoop, Kafka, Event Hub).
• Zaawansowana biegłość w SQL oraz językach programowania, takich jak Python, Scala lub Java.
• Dogłębne zrozumienie infrastruktury jako kodu (Terraform, Pulumi, szablony ARM) w zarządzaniu infrastrukturą danych w chmurze.
• Doświadczenie w najlepszych praktykach bezpieczeństwa i zarządzania danymi, w tym RBAC, szyfrowaniu, śledzeniu pochodzenia danych oraz zgodności z regulacjami.
• Doświadczenie w pracy w federacyjnym środowisku inżynierskim, zapewniającym płynną integrację między zespołami.
• Biegłość w narzędziach do obserwowalności i monitorowania potoków danych, takich jak Monte Carlo, DataDog, Great Expectations.
• Doświadczenie w metodologiach Agile i DevSecOps, zapewniających ciągłą integrację, wdrażanie i monitorowanie rozwiązań danych.
• Udokumentowana zdolność do optymalizacji i skalowania potoków danych, redukcji opóźnień i poprawy dostępności danych.
• Umiejętność wpływania na decyzje architektoniczne i promowania najlepszych praktyk w inżynierii danych.

Oferujemy

• Bezpieczeństwo: Stała umowa o pracę w stabilnej, odnoszącej sukcesy firmie rodzinnej.
• Elastyczność: Szerokie okno czasowe umożliwiające elastyczne godziny pracy oraz cotygodniowy dzień pracy zdalnej.
• Fitness i zdrowie: Zniżki na różne zajęcia sportowe i rekreacyjne, aktywne promowanie zdrowia, prywatna opieka medyczna, bezpieczeństwo pracy i wiele więcej.
• Przyjazna atmosfera: Dni powitalne i indywidualny proces wdrożenia, wydarzenia firmowe i zespołowe.
• Rozwój osobisty i zawodowy: Indywidualne wsparcie w zakresie studiów podyplomowych, szkoleń i kursów doszkalających.
• Inspirujące środowisko pracy: Starannie zaprojektowane biuro, które sprzyja kreatywności i produktywności. To miejsce, w którym zespół z przyjemnością spotyka się i współpracuje!