Projekt dotyczy roli inżyniera danych, gdzie wymagane są umiejętności w zakresie Data Engineering, Data Warehousing oraz programowania w dynamicznym środowisku projektowym. Poszukujemy osoby z doświadczeniem na stanowisku związanym z Python, Spark, PySpark, PySQL, R ETL, Hive/Hadoop/MS SQL Server/PostgreSQL/ClickHouse oraz narzędziami orkiestracji danych, takimi jak Airflow lub Dagster.

Data Engineer - Data Warehousing

Twój zakres obowiązków

• Projektowanie i implementacja pipeline'ów danych – Tworzenie i optymalizacja procesów przetwarzania danych przy użyciu Pythona, Spark/PySpark oraz narzędzi orkiestracji danych (Airflow/Dagster)
• Zarządzanie i optymalizacja baz danych – Praca z systemami baz danych, takimi jak Apache Hive, Hadoop, MS SQL Server, PostgreSQL, ClickHouse, w celu efektywnego przechowywania i przetwarzania dużych zbiorów danych
• Integracja i przetwarzanie danych marketingowych – Implementacja rozwiązań ETL do ekstrakcji, transformacji i ładowania danych z różnych źródeł, w tym platform marketingowych (Google Ads, Facebook Insights)
• Współpraca z zespołem i rozwój infrastruktury danych – Wsparcie działań DevOps oraz wykorzystanie Microsoft Azure do budowy i zarządzania środowiskiem przetwarzania danych, przy jednoczesnym zapewnieniu zgodności z najlepszymi praktykami w zakresie bezpieczeństwa i wydajności

Nasze wymagania

• 3-5 lat doświadczenia w obszarze Data Engineering
• Biegłość w Pythonie oraz doświadczenie w tworzeniu pipeline'ów danych
• Doświadczenie z bazami danych takimi jak Apache Hive, Hadoop, Microsoft SQL Server, PostgreSQL, ClickHouse itp.
• Znajomość narzędzi orkiestracji danych (Airflow/Dagster)
• Doświadczenie z Spark, PySpark, PySQL lub R
• oraz narzędziami ETL, takimi jak SSIS
• Biegła znajomość języka angielskiego
• Doświadczenie w pracy z danymi marketingowymi (np. Google Ads, Facebook Insights)
• Znajomość DevOps i Microsoft Azure