Konsultant wdrożeniowiec o profilu Data Engineer to specjalista, który łączy zaawansowane kompetencje techniczne z umiejętnością analizy danych i podstawową wiedzą z zakresu Data Science.
responsibilities :
Będziesz odpowiadać za projektowanie, wdrażanie oraz utrzymanie nowoczesnych rozwiązań w obszarze Big Data, architektury danych i platform analitycznych, wspierając klientów w wykorzystaniu danych do podejmowania decyzji biznesowych.
requirements-expected :
Minimum 3-5 lat doświadczenia w obszarze inżynierii danych, wdrożeń Big Data lub analizy danych.
Doświadczenie w pracy z narzędziami i technologiami Big Data oraz w realizacji projektów analitycznych dla danych.
Big Data:
Ekspertyza w technologii Big Data i ekosystemach takich jak Hadoop oraz Apache Spark.
Projektowanie i wdrażanie skalowalnych rozwiązań Big Data dla dużych zbiorów danych.
Dobór technologii i narzędzi zgodnych z potrzebami biznesowymi oraz technicznymi (Modern Data Analytics Platform, Query Engines, technologie dla Data Lake, narzędzia chmurowe).
Data Warehousing & Data Lake:
Znajomość podstaw projektowania i zarządzania hurtowniami danych (Data Warehouse).
Doświadczenie w implementacji i utrzymaniu środowisk Data Lake i Data Lakehouse.
Bazy danych:
Zaawansowana znajomość przynajmniej jednej technologii bazodanowej w zastosowaniach BigData (od 1TB+), takich jak:
Umiejętność optymalizacji zapytań, tuning wydajności oraz praca z dużymi zbiorami danych.
Data Engineering:
Znajomość narzędzi ETL/ELT i orkiestracji danych, takich jak:
Airbyte, dbt (data build tool), Apache Airflow.
Praktyczna wiedza w zakresie automatyzacji procesów integracji i przetwarzania danych.
Konfiguracja i administracja:
Praktyczna wiedza w zakresie konfiguracji i administracji ekosystemów Hadoop oraz systemów Object Store (np. VAST, MinIO).
Rozwiązania typu Query Engine:
Znajomość przynajmniej jednej technologii platform takich jak:
Dremio, Databricks, Denodo, Starburst.
Analiza danych i podstawy Data Science:
Podstawowa wiedza z zakresu Data Science: Znajomość metod eksploracyjnej analizy danych (EDA), podstawowe techniki modelowania danych i ich zastosowanie w biznesie, umiejętność interpretacji wyników analizy i współpracy z zespołami analitycznymi.
Praktyczne doświadczenie w analizie danych za pomocą Python (biblioteki takie jak Pandas, NumPy, Matplotlib, Seaborn).
Programowanie i SQL:
Zaawansowana znajomość języka Python zorientowana na przetwarzanie i analizę danych.
Zaawansowana znajomość SQL: tworzenie zaawansowanych zapytań, analiza danych ich optymalizacja.
Wymagane cechy osobowościowe:
Analityczne myślenie i kreatywne podejście do rozwiązywania problemów.
Umiejętności prezentacji zagadnień technicznych dla zespołów technicznych i nietechnicznych.
Umiejętność współpracy z różnorodnymi zespołami, w tym z analitykami i Data Scientistami.
Zdolność do jasnej komunikacji z klientami i przedstawiania wyników analizy danych w zrozumiały sposób.
Otwartość na ciągłe uczenie się i rozwijanie nowych umiejętności.
offered :
Pracę hybrydową (preferowane) bądź zdalnie
Udział w wyjątkowo ciekawych i ambitnych projektach z obszaru Big Data, realizowanych dla firm stawiających na najnowsze technologie,
