Dla naszego klienta poszukujemy osoby na stanowisko ETL Developer / Data Engineer.
ETL Developer / Data Engineer
Your responsibilities
Jako ETL Developer / Data Engineer, będziesz odpowiedzialny za rozwój i implementację procesów integracji danych zarówno na on-prem, jak i w chmurze GCP. Będziesz pracować z różnorodnymi narzędziami i technologiami, w tym z bazami danych Oracle i PostgreSQL, narzędziami ETL takimi jak Informatic Power Center, a także z rozwiązaniami GCP, takimi jak Apache AirFlow, GCP Data Flow i BigQuery.
Our requirements
- Co najmniej 5-letnie doświadczenie jako Developer ETL w obszarze procesów integracji danych na on-prem:
- Ekspercka znajomość relacyjnych baz danych Oracle, PostgreSQL (projektowanie, budowa i tuning baz danych)
- Biegłe posługiwanie się narzędziami ETL na on-prem (zwłaszcza Informatic Power Center) na poziomie zaawansowanym
- Bardzo dobra znajomość narzędzi harmonogramujących
- Umiejętność wystawiania usług Rest API
- Co najmniej 3-letnie doświadczenie jako Data Engineer w obszarze procesów integracji danych na GCP:
- Dobra znajomość narzędzi ETL Flow na GCP: Apache AirFlow, GCP Data Flow, GCP Data Proc
- Dobra znajomość baz danych GCP: Big Query, Big Table, Scylla Cloud (projektowanie, budowa i tuning baz danych)
- Doświadczenie w korzystaniu z kolejek: Kafka, GCP Pub/Sub
- Co najmniej 3-letnie doświadczenie jako programista:
- Biegła znajomość Pythona (w obszarze integracji i analizy danych) oraz frameworka PySpark
- Dobra znajomość języka Rust do pisania narzędzi i frameworków wspomagających wydajne ładowanie danych
- Znajomość narzędzi pomocniczych dla developera: Repozytorium GIT, Jenkins
What we offer
- Praca hybrydowa (raz w tygodniu w biurze)
- Długoterminowa współpraca
- Zatrudenienie na kontrakcie B2B