Razem z naszym Partnerem poszukujemy osoby na stanowisko Data Engineer.
Osoba dołączy do projektu Spyglass (Client Observability System) i wesprze rozwój kluczowej platformy obserwowalności – systemu zbierającego i przetwarzającego metryki, logi oraz traces, zapewniającego pełną widoczność środowiska IT i wspierającego szybkie decyzje operacyjne.
responsibilities :
Transformacja, walidacja i przygotowanie danych zgodnie z wymaganiami architektonicznymi (data contracts, schematy, standardy jakości).
Współpraca z architektem, zespołem ML oraz DevOps w zakresie optymalizacji pipeline’ów i infrastruktury.
Udostępnianie przetworzonych danych (np. poprzez warstwę curated / gold, API, tabele Delta, feature store).
Projektowanie i implementacja data pipelines wspierających funkcjonalność Custom Triage.
Integracja i przetwarzanie danych w środowiskach analitycznych takich jak Azure Databricks.
Budowa mechanizmów ingestii danych z systemów źródłowych (np. Azure Event Hubs).
Zapewnienie skalowalności, niezawodności i monitoringu przepływów danych.
Integracja zewnętrznych workloadów ML z istniejącą architekturą danych.
requirements-expected :
Minimum 4-letnie doświadczenie komercyjne na stanowisku Data Engineer.
Doświadczenie w pracy z rozwiązaniami streamingowymi, w szczególności Azure Event Hubs.
Doświadczenie w projektowaniu i budowie skalowalnych pipeline’ów ETL/ELT.
Bardzo dobra znajomość Azure Databricks.
Biegła znajomość języka angielskiego.
Bardzo dobra znajomość Python.
offered :
Uczestnictwo w spotkaniach integracyjnych oraz meetupach technologicznych, umożliwiających dzielenie się wiedzą i doświadczeniem.
Wsparcie dedykowanej osoby kontaktowej z Connectis, dostępnej w celu pomocy w sprawach związanych z projektem.
Rozwój kariery i długofalową współpracę w firmie o ugruntowanej pozycji na rynku.
5000 PLN za polecenie znajomych do naszych projektów.
Dostęp do najnowszych technologii i narzędzi pracy.
