Data Engineer

Miejsce pracy: Warszawa

Technologie, których używamy

Wymagane

BigQuery
Dataform
Python
SQL
PostgreSQL
Cloud Dataflow (Apache Beam)
Cloud Composer (Apache Airflow)
Git
Google Cloud Platform (GCP)
Cloud Storage

O projekcie

Dla naszego klienta z branży energetycznej poszukujemy Inżyniera Danych, do wsparcia zespołu w zadaniach związanych z budową, rozwojem i utrzymaniem platformy CDP w technologii Data Lakehouse.

Twój zakres obowiązków

Projektowanie i rozwój potoków danych ETL/ELT dla danych wsadowych i strumieniowych (Batch & Streaming).
Tworzenie i optymalizacja warstw danych (Bronze, Silver, Gold) z wykorzystaniem SQL i dedykowanych narzędzi transformacyjnych.
Harmonogramowanie i monitorowanie przepływów danych za pomocą narzędzi do zarządzania DAGami.
Optymalizacja procesowania i zapytań na dużych zbiorach danych w architekturze Data Lakehouse.
Integracja z różnorodnymi systemami źródłowymi (bazami danych i strumieniami danych) w celu pozyskania danych.
Implementacja reguł i mechanizmów kontroli jakości oraz walidacji danych.
Użycie systemu Git oraz udział w procesach CI/CD w celu automatycznego i bezpiecznego wdrażania zmian.

Nasze wymagania

Min 4 lata doświadczenia w projektach budowy rozwiązań chmurowych (Data Engineering).
Doświadczenie w zaawansowanej pracy z danymi (Bronze, Silver, Gold), optymalizacja zapytań, partycjonowanie w BigQuery.
Doświadczenie w implementacji potoków w Pythonie z użyciem Cloud Dataflow (Apache Beam).
Doświadczenie w tworzeniu i zarządzaniu DAGami za pomocą Cloud Composer (Apache Airflow).
Doświadczenie w transformacjach danych w SQL w Dataform.
Znajomość Cloud Storage, Pub/Sub, Datastream (mechanizmy CDC).
Ekspercka znajomość SQL (BigQuery Dialect) oraz Python (w tym Pandas).
Znajomość MySQL lub PostgreSQL/MS SQL Server jako źródeł danych.
Znajomość kontroli wersji Git oraz procesów CI/CD.

Tak organizujemy naszą pracę

Tak pracujemy

u klienta

To oferujemy

Stabilne zatrudnienie w firmie o dużym potencjale
Przyjazną atmosferę pracy w zespole, który lubi ze sobą pracować, dzieli się wiedzą i wzajemnie wspiera
Możliwość ciągłego rozwoju poprzez:
Pracę z wykorzystaniem różnorodnych technologii w projektach dla renomowanych klientów
Pracę z doświadczonym zespołem ekspertów, którzy chętnie dzielą się wiedzą
Dofinansowanie do szkoleń i certyfikatów
Elastyczne godziny pracy
Pakiet benefitów: ubezpieczenie grupowe, ubezpieczenie zdrowotne LUX-MED, dofinansowanie do nauki języków, dofinansowanie do karty Multisport
Program Poleceń Pracowniczych

Benefity

dofinansowanie zajęć sportowych
prywatna opieka medyczna
dofinansowanie nauki języków
dofinansowanie szkoleń i kursów
ubezpieczenie na życie
elastyczny czas pracy
paczki świąteczne
program rekomendacji pracowników
inicjatywy dobroczynne
pikniki rodzinne

Etapy rekrutacji

selekcja CV
screening telefoniczny
rozmowa rekrutacyjna
decyzja

FINTURE Sp. z o.o.

FINTURE to dynamiczny i ambitny zespół tworzący rozwiązania informatyczne, odpowiadające aktualnym trendom rynkowym – głównie w sektorze finansowym i ubezpieczeniowym.

BAZUJEMY na szerokim wachlarzu technologii i narzędzi, aby docelowe rozwiązania optymalnie komponowały się ze środowiskiem informatycznym naszych klientów.

DBAMY o właściwą komunikację projektową, która według nas stanowi fundament w osiąganiu zamierzonych celów biznesowych.

WSPIERAMY naszych klientów na każdym etapie projektowym, począwszy od koncepcji rozwiązania, doboru właściwych narzędzi i technologii, planowania projektowego, dewelopmentu, testowania, utrzymania produkcyjnego i wsparcia serwisowego.

Wszystkie informacje o przetwarzaniu danych osobowych w tej rekrutacji znajdziesz w formularzu aplikacyjnym, po kliknięciu w przycisk "Aplikuj Teraz".

Praca Warszawa