Informacje o stanowisku

Dla naszego klienta z branży energetycznej poszukujemy Inżyniera Danych, do wsparcia zespołu  w zadaniach związanych z budową, rozwojem i utrzymaniem platformy CDP w technologii Data Lakehouse. 

Wymagania: 

• Min 4 lata doświadczenia w projektach budowy rozwiązań chmurowych (Data Engineering).  
• BigQuery: Doświadczenie w zaawansowanej pracy z danymi (Bronze, Silver, Gold), optymalizacja zapytań, partycjonowanie.  
• Cloud Dataflow (Apache Beam): Doświadczenie w implementacji potoków w Pythonie.  
• Cloud Composer (Apache Airflow): Doświadczenie w tworzeniu i zarządzaniu DAGami.  
• Dataform: Doświadczenie w transformacjach danych w SQL w BigQuery.  
• Znajomość Cloud Storage, Pub/Sub, Datastream (mechanizmy CDC).  
• Języki: Ekspercka znajomość SQL (BigQuery Dialect) oraz Python (w tym Pandas).  
• Bazy Danych: Znajomość MySQL lub PostgreSQL/MS SQL Server jako źródeł danych.  
• Znajomość kontroli wersji Git oraz procesów CI/CD   

Dla naszego klienta z branży energetycznej poszukujemy Inżyniera Danych, do wsparcia zespołu  w zadaniach związanych z budową, rozwojem i utrzymaniem platformy CDP w technologii Data Lakehouse. 

,[Projektowanie i Rozwój Protoków Danych: Tworzenie i utrzymywanie skalowalnych potoków danych ETL/ELT dla danych wsadowych i strumieniowych (Batch & Streaming).  , Transformacja Danych i Modelowanie: Budowanie i optymalizacja warstw danych (Bronze, Silver, Gold) z wykorzystaniem SQL i dedykowanych narzędzi transformacyjnych.  , Orkiestracja i Automatyzacja: Harmonogramowanie i monitorowanie przepływów danych za pomocą narzędzi do zarządzania DAGami.  , Zarządzanie Wydajnością: Optymalizacja procesowania i zapytań na dużych zbiorach danych w architekturze Data Lakehouse.  , Współpraca i Integracja: Integracja z różnorodnymi systemami źródłowymi (bazami danych i strumieniami danych) w celu pozyskania danych.  , Zapewnienie Jakości Danych: Implementacja reguł i mechanizmów kontroli jakości oraz walidacji danych.  , Wdrażanie i DevOps: Użycie systemu Git oraz udział w procesach CI/CD w celu automatycznego i bezpiecznego wdrażania zmian.   Requirements: CDP, BigQuery, SQL, Git, Apache Airflow, Python, PostgreSQL, Cloud Storage, Cloud Dataflow, Cloud Composer, Datastream, Pub/Sub Additionally: Sport Subscription, Private healthcare, Friendly atmosphere, Remote work, Flexible working hours, Training budget, Flat structure.

Praca Warszawa

Inżynier Warszawa

Specjalista ds. ochrony danych Warszawa

Inżynier oprogramowania Warszawa

Warszawa - Oferty pracy w okolicznych lokalizacjach