Szukamy doświadczonego Data Platform Engineera do zaprojektowania i wdrożenia chmurowej platformy danych typu lakehouse. System będzie integrował dane z narzędzi inżynieryjnych i systemów bezpieczeństwa, przetwarzał je w architekturze Bronze/Silver/Gold oraz udostępniał do analityki i rozwiązań AI.
responsibilities :
Projekt i implementacja architektury lakehouse w AWS
Budowa i utrzymanie pipeline’ów danych (batch i streaming, m.in. Apache Kafka)
Modelowanie danych (model wymiarowy, SCD2) i optymalizacja zapytań SQL
Tworzenie transformacji (np. dbt / Databricks)
Orkiestracja workflow (np. Apache Airflow) i IaC (np. Terraform)
Zapewnienie jakości, wydajności i skalowalności platformy
requirements-expected :
7+ lat doświadczenia w Data Engineering
Doświadczenie w budowie architektur lakehouse (min. 2 lata)
Bardzo dobra znajomość SQL oraz AWS
Praktyczne doświadczenie ze streamingiem i grafowymi bazami danych
Programowanie w Python lub Scala
Samodzielność i umiejętność podejmowania decyzji architektonicznych
