baz danych Oracle (analiza struktur, ekstrakcja i transformacja danych).
Szukamy osób, które w krótkim czasie będą w stanie przejąć odpowiedzialność za leadership w obszarze ładowań oraz udostępniania danych w ramach dużego, złożonego projektu.
responsibilities :
Projektowanie, budowanie i utrzymywanie struktury danych oraz systemów ETL (Extract, Transform, Load).
Optymalizacja procesów przetwarzania danych w celu zapewnienia efektywności i wydajności.
Współpraca z zespołami analityków danych i inżynierów oprogramowania w celu zrozumienia wymagań dotyczących danych.
Zapewnienie jakości i integralności danych poprzez implementację odpowiednich testów i monitoring.
Tworzenie i dokumentowanie architektury danych oraz procesów przetwarzania.
Udział w projektach związanych z migracją danych oraz integracją nowych źródeł danych.
Zarządzanie bazami danych i optymalizacja zapytań w celu zwiększenia wydajności.
Przeprowadzanie analiz dotyczących wydajnościowych i kosztowych aspektów rozwiązań danych.
Szkolenie i mentoring młodszych inżynierów danych oraz uczestnictwo w procesach rekrutacyjnych.
Utrzymywanie się na bieżąco z techologiami i trendami w dziedzinie big data oraz inżynierii danych.
requirements-expected :
Co najmniej 5-letniego doświadczenia jako Data Engineer GCP w obszarze procesów integracji danych na GCP:
Bardzo Dobra znajomość baz danych GCP : GCP Big Query, GCP Big Table, Scylla Cloud (projektowanie, budowa i tiuning baz danych)
Dobra Znajomość narzędzi ETL Flow na GCP : Apache AirFlow , GCP Data Flow, GCP Data Proc
Korzystanie z kolejek : Kafka, GCP Pub / Sub
Co najmniej 4-letnie doświadczenie jako Developer ETL w obszarze procesów integracji danych na on-prem :
Biegłe posługiwanie się narzędziami ETL na on-prem na poziomie zaawansowanym : Informatic Power Center , ** NIFI
Ekspercka znajomość relacyjne bazy danych Oracle, PostgeSQL , ScyllaDB (projektowanie, budowa i tiuning baz danych)
Bardzo dobra znajomość narzędzia harmonogramującego Automate Now firmy Infinity Data
Umiejętność wystawiania usług Rest API
Co najmniej 3-letnie doświadczenie jako programista w językach :
Biegła znajomość Python (w obszarze integracji i analizy danych), i frame work PySpark
Znajomość języka Rust do pisania narzędzi i frame worków wspomagających wydajne ładowanie danych
Z czasem przejęcie odpowiedzialności za wybrany obszar przetwarzania i wystawiania danych pod usługi w wysokim reżimie wydajnościowym
