Informacje o stanowisku

Projekt dotyczy kompleksowej migracji istniejącej hurtowni danych opartej na technologii Oracle do środowiska Google Cloud Platform. Obejmuje tworzenie i rozwijanie nowoczesnych rozwiązań przetwarzania danych w chmurze, budowę skalowalnych potoków danych oraz integrację różnych systemów źródłowych z nową platformą Data Lake. Celem projektu jest zapewnienie stabilnego, bezpiecznego i efektywnego przepływu danych na potrzeby analiz biznesowych i zaawansowanej analityki.

• Bardzo dobra znajomość środowiska Google Cloud Platform (GCP).
• Zaawansowane umiejętności w SQL i PL/SQL.
• Praktyczna znajomość języka Python (Scala jako atut).
• Wykształcenie wyższe z obszaru informatyki, analityki danych, statystyki lub kierunków pokrewnych.
• Minimum 3-letnie doświadczenie w pracy jako Data Analyst lub Data Quality Analyst.
• Udokumentowane doświadczenie w obszarze jakości danych oraz zarządzania danymi.
• Znajomość systemów Linux oraz umiejętność pisania skryptów bash.
• Rozumienie technologii z ekosystemu Cloudera, w tym Apache Spark i Apache Kafka.
• Znajomość zasad przetwarzania danych, procesów ETL oraz mechanizmów przetwarzania strumieniowego.

Projekt dotyczy kompleksowej migracji istniejącej hurtowni danych opartej na technologii Oracle do środowiska Google Cloud Platform. Obejmuje tworzenie i rozwijanie nowoczesnych rozwiązań przetwarzania danych w chmurze, budowę skalowalnych potoków danych oraz integrację różnych systemów źródłowych z nową platformą Data Lake. Celem projektu jest zapewnienie stabilnego, bezpiecznego i efektywnego przepływu danych na potrzeby analiz biznesowych i zaawansowanej analityki.

,[Projektowanie, rozwijanie i utrzymanie procesów pobierania danych z wielu źródeł do Data Lake., Implementacja i optymalizacja rozbudowanych potoków danych działających w środowisku chmurowym., Tworzenie frameworków i narzędzi wspierających budowę oraz automatyzację procesów przetwarzania danych., Opracowanie i wdrażanie mechanizmów testowania jakości potoków danych., Ścisła współpraca z zespołami analitycznymi i data science, aby zapewnić dostarczanie wiarygodnych i kompletnych danych., Utrzymywanie wysokich standardów w zakresie zarządzania danymi, bezpieczeństwa oraz zgodności regulacyjnej., Analiza i wdrażanie nowych technologii podnoszących wydajność i efektywność przetwarzania danych., Integracja danych pochodzących z różnorodnych źródeł, takich jak Kafka, MQ, SFTP, bazy danych, API czy zasoby plikowe. Requirements: Python, GCP, SQL, PL/SQL, Kafka, Bash script, Spark, Scala

Praca Warszawa

Warszawa - Oferty pracy w okolicznych lokalizacjach