Dla naszego klienta z branży energetycznej poszukujemy Inżyniera Danych, do wsparcia zespołu w zadaniach związanych z budową, rozwojem i utrzymaniem platformy CDP w technologii Data Lakehouse.
responsibilities :
Projektowanie i rozwój potoków danych ETL/ELT dla danych wsadowych i strumieniowych (Batch & Streaming).
Tworzenie i optymalizacja warstw danych (Bronze, Silver, Gold) z wykorzystaniem SQL i dedykowanych narzędzi transformacyjnych.
Harmonogramowanie i monitorowanie przepływów danych za pomocą narzędzi do zarządzania DAGami.
Optymalizacja procesowania i zapytań na dużych zbiorach danych w architekturze Data Lakehouse.
Integracja z różnorodnymi systemami źródłowymi (bazami danych i strumieniami danych) w celu pozyskania danych.
Implementacja reguł i mechanizmów kontroli jakości oraz walidacji danych.
Użycie systemu Git oraz udział w procesach CI/CD w celu automatycznego i bezpiecznego wdrażania zmian.
requirements-expected :
Min 4 lata doświadczenia w projektach budowy rozwiązań chmurowych (Data Engineering).
Doświadczenie w zaawansowanej pracy z danymi (Bronze, Silver, Gold), optymalizacja zapytań, partycjonowanie w BigQuery.
Doświadczenie w implementacji potoków w Pythonie z użyciem Cloud Dataflow (Apache Beam).
Doświadczenie w tworzeniu i zarządzaniu DAGami za pomocą Cloud Composer (Apache Airflow).
Doświadczenie w transformacjach danych w SQL w Dataform.
