Informacje o stanowisku
Data Engineer
Miejsce pracy: Warszawa
Technologie, których używamy
Wymagane
- BigQuery
- Dataform
- Python
- SQL
- PostgreSQL
- Cloud Dataflow (Apache Beam)
- Cloud Composer (Apache Airflow)
- Git
- Google Cloud Platform (GCP)
- Cloud Storage
O projekcie
Dla naszego klienta z branży energetycznej poszukujemy Inżyniera Danych, do wsparcia zespołu w zadaniach związanych z budową, rozwojem i utrzymaniem platformy CDP w technologii Data Lakehouse.
Twój zakres obowiązków
- Projektowanie i rozwój potoków danych ETL/ELT dla danych wsadowych i strumieniowych (Batch & Streaming).
- Tworzenie i optymalizacja warstw danych (Bronze, Silver, Gold) z wykorzystaniem SQL i dedykowanych narzędzi transformacyjnych.
- Harmonogramowanie i monitorowanie przepływów danych za pomocą narzędzi do zarządzania DAGami.
- Optymalizacja procesowania i zapytań na dużych zbiorach danych w architekturze Data Lakehouse.
- Integracja z różnorodnymi systemami źródłowymi (bazami danych i strumieniami danych) w celu pozyskania danych.
- Implementacja reguł i mechanizmów kontroli jakości oraz walidacji danych.
- Użycie systemu Git oraz udział w procesach CI/CD w celu automatycznego i bezpiecznego wdrażania zmian.
Nasze wymagania
- Min 4 lata doświadczenia w projektach budowy rozwiązań chmurowych (Data Engineering).
- Doświadczenie w zaawansowanej pracy z danymi (Bronze, Silver, Gold), optymalizacja zapytań, partycjonowanie w BigQuery.
- Doświadczenie w implementacji potoków w Pythonie z użyciem Cloud Dataflow (Apache Beam).
- Doświadczenie w tworzeniu i zarządzaniu DAGami za pomocą Cloud Composer (Apache Airflow).
- Doświadczenie w transformacjach danych w SQL w Dataform.
- Znajomość Cloud Storage, Pub/Sub, Datastream (mechanizmy CDC).
- Ekspercka znajomość SQL (BigQuery Dialect) oraz Python (w tym Pandas).
- Znajomość MySQL lub PostgreSQL/MS SQL Server jako źródeł danych.
- Znajomość kontroli wersji Git oraz procesów CI/CD.
Tak organizujemy naszą pracę
Tak pracujemy
To oferujemy
- Stabilne zatrudnienie w firmie o dużym potencjale
- Przyjazną atmosferę pracy w zespole, który lubi ze sobą pracować, dzieli się wiedzą i wzajemnie wspiera
- Możliwość ciągłego rozwoju poprzez:
- Pracę z wykorzystaniem różnorodnych technologii w projektach dla renomowanych klientów
- Pracę z doświadczonym zespołem ekspertów, którzy chętnie dzielą się wiedzą
- Dofinansowanie do szkoleń i certyfikatów
- Elastyczne godziny pracy
- Pakiet benefitów: ubezpieczenie grupowe, ubezpieczenie zdrowotne LUX-MED, dofinansowanie do nauki języków, dofinansowanie do karty Multisport
- Program Poleceń Pracowniczych
Benefity
- dofinansowanie zajęć sportowych
- prywatna opieka medyczna
- dofinansowanie nauki języków
- dofinansowanie szkoleń i kursów
- ubezpieczenie na życie
- elastyczny czas pracy
- paczki świąteczne
- program rekomendacji pracowników
- inicjatywy dobroczynne
- pikniki rodzinne
Etapy rekrutacji
- selekcja CV
- screening telefoniczny
- rozmowa rekrutacyjna
- decyzja
FINTURE Sp. z o.o.
FINTURE to dynamiczny i ambitny zespół tworzący rozwiązania informatyczne, odpowiadające aktualnym trendom rynkowym – głównie w sektorze finansowym i ubezpieczeniowym.
BAZUJEMY na szerokim wachlarzu technologii i narzędzi, aby docelowe rozwiązania optymalnie komponowały się ze środowiskiem informatycznym naszych klientów.
DBAMY o właściwą komunikację projektową, która według nas stanowi fundament w osiąganiu zamierzonych celów biznesowych.
WSPIERAMY naszych klientów na każdym etapie projektowym, począwszy od koncepcji rozwiązania, doboru właściwych narzędzi i technologii, planowania projektowego, dewelopmentu, testowania, utrzymania produkcyjnego i wsparcia serwisowego.
Wszystkie informacje o przetwarzaniu danych osobowych w tej rekrutacji znajdziesz w formularzu aplikacyjnym, po kliknięciu w przycisk "Aplikuj Teraz".
Praca WarszawaWarszawa - Oferty pracy w okolicznych lokalizacjach