Aktualnie do Zespołu Baz i Hurtowni Danych poszukujemy osoby na stanowisko Data Engineer (Airflow, ClickHouse).​

Zespół składa się z inżynierów danych i backendu pracujących z hurtownią danych oraz bazami PostgreSQL i MySQL. Stale się powiększamy i planujemy utrzymać ten trend.

Wspieramy i rozwijamy usługi oraz aplikacje backendowe oparte na hurtowni danych i bazach danych. Tworzymy i utrzymujemy procesy ETL związane ze zbieraniem, przetwarzaniem oraz udostępnianiem danych. Tworzymy nowoczesne rozwiązania dla serwisów internetowych.

Data Engineer (Airflow, ClickHouse)

Twój zakres obowiązków

• Dostosowanie i rozwój DAG-ów w Apache Airflow i ClickHouse
• Refaktoryzacja oraz optymalizacja zapytań SQL pod ClickHouse (wydajność, koszty, czas wykonania)
• Projektowanie i modyfikacja struktur oraz procesów w obszarze hurtowni danych
• Walidacja poprawności danych po migracji (porównania wyników, kontrola kompletności, testy regresji)
• Monitoring i utrzymanie procesów ETL (analiza błędów, usprawnienia, automatyzacja)

Nasze wymagania

• Minimum 2 lata komercyjnego doświadczenia z ClickHouse oraz Apache Airflow
• Znajomość SQL, w tym tworzenie i optymalizacja zapytań
• Doświadczenie w tworzeniu i utrzymaniu procesów ETL/ELT
• Umiejętność analizy i walidacji danych (kontrola kompletności i poprawności wyników po zmianach)
• Doświadczenie w pracy w projektach prowadzonych metodykami zwinnymi
• Praktyczna znajomość środowisk Big Data (np. Hive)
• Doświadczenie w migracji zapytań/procesów między różnymi silnikami analitycznymi

To oferujemy

• Sprzęt zapewnia klient
• 100% zdalnie/hybryda
• Dofinansowanie do Medicover, Medicover Sport