Data Engineer

110_data-engineer

Obowiązki

• Zatrudnienie przez Bergman Engineering w ramach umowy o pracę na okres 12 miesięcy z możliwością przedłużenia i nawiązania stałej współpracy
• Pracę dla klienta firmy Bergman – międzynarodowej firmy z branży lotniczej o ugruntowanej pozycji na rynku
• Pracę w modelu hybrydowym
• Atrakcyjne wynagrodzenie
• Możliwość przystąpienia do pakietu medycznego, sportowego i ubezpieczenia
• Możliwość wzięcia udziału w ciekawych projektach w ramach grupy Bergman Engineering

Wymagania

• Doświadczenie w pracy z Databricks oraz rozproszonym przetwarzaniem danych z użyciem Apache Spark (PySpark)
• Bardzo dobra znajomość SQL oraz doświadczenie w pracy z Delta Lake i architekturą medallion
• Praktyczna znajomość Python lub Scala do budowy pipelines
• Doświadczenie z chmurą (Azure / AWS) i narzędziami do orkiestracji danych
• Znajomość zasad ETL/ELT, monitoringu i obsługi błędów
• Zrozumienie koncepcji Data Lake / Data Lakehouse, Data Governance i Unity Catalog
• Znajomość narzędzi do wersjonowania kodu (np. Git) oraz CI/CD
• Bardzo dobra znajomość języka angielskiego
• Komunikatywność, dokładność, sumienność

Oferujemy

• Projektowanie, implementacja i optymalizacja przepływów danych (ETL/ELT)
• Integracja danych z różnych źródeł (np. ERP, MES, IoT, API, pliki)
• Utrzymywanie i rozwój hurtowni danych / data lake
• Tworzenie i zarządzanie potokami danych w środowiskach chmurowych (Azure/AWS/GCP)
• Zapewnienie wysokiej jakości danych: walidacja, czyszczenie, wzbogacanie danych
• Współpraca z Data Scientistami, Analitykami i zespołami biznesowymi

Źródło: Bergman Engineering/Praca