Informacje o stanowisku

Projekt: Data platform - HD w Cloud (ELT w oparciu o silnik procesowania danych na Azure Databricks lub BigQuery na GCP oraz natywne usługi dla Ingestu, Transformacji i Orkiestracji danych) data modellingu (modelowanie struktur DB). Budujemy zespół, którego zadaniem będzie zbudowanie takiej platformy, a potem poszczególnych procesów. Wybór chmury jeszcze trwa.  

UWAGI: 

DWH w podejściu ELT z architekturą medalionową (warstwy Bronze, Silver i Gold) – tzw. Lakehouse. Niestety na obecnym etapie nie wiemy jeszcze, czy będziemy osadzać Data Platform w chmurze Azure czy GCP. Tym samym stawiamy na interdyscyplinarność (kompetencje zarówno w Azure i GCP), a potencjalnie rozważane komponenty to: 

Azure:

• Storage: ADLS 
• Ingest: ADF i Databricks 
• Transformacje: Datatbricks/dbt 
• Orkiestracja: ADF/Airflow 
• DataGov i DataQuality: UnityCatalog/Purview 

GCP:

• Storage: CloudObjectStorage 
• Ingest: Pub/Sub i Dataflow 
• Transformacje: BigQuery/dbt 
• Orkiestracja: Composer/Airflow 
• DataGov i DataQuality: Dataplex 

Oferta:  

• Lokalizacja: Wrocław/ praca 100% zdalna 
• Start: asap 
• Współpraca: projekt szacowany co najmniej do lipca 2026 
• Zatrudnienie: przez apreel na zasadach B2B 
• Stawka: 170-195 PLN netto/h +VAT 

Wymagane kompetencje: 

• Modelowanie struktur bazodanowych w podejściu DDD (DataDomainDriven Designing), wypracowywanie fizycznych modeli danych, Data Modelling na podstawie wsadu z Data Governance (tj. na podstawie glosariusza danych oraz modelu konceptualnego/ ew. logicznego) 
• Data Mapping 
• kompetencje zarówno w Azure i GCP 
• Przygotowywanie warstwy Data Contracts (wymagań HD do systemów źródłowych pod merytoryczną płaszczyznę kontraktu na dane) na podstawie zamodelowanych uprzednio struktur dla poszczególnych domen danych 
• [Potrzebne będzie więc doświadczenie we współpracy z systemami źródłowymi przy redagowaniu wymagań i tworzeniu data kontraktów na bazie fizycznych modeli domenowych w DWH. 
• Współpraca przy procesie Ingestu danych z systemów źródłowych w scenariuszach: (1) bezpośredni querying baz danych (tj.odpytywanie tzw. bulk read modelu/CDC), (2) poprzez komunikację z API lub (3) Event Streaming 
• Implementacja modeli danych dla poszczególnych domen w Data Platform (warstwa Bronze, Silver i Gold) w podejściu ELT 

Mile widziane: 

• Umiejętność redagowania przejrzystych dokumentów technicznych – np. specyfikacji technicznej kontraktu, definicji pól, warunków ekstrakcji itp. 
• Doświadczenie w tworzeniu dokumentacji pod mapowania danych źródłowych do docelowych struktur w DWH 
• Umiejętność interpretacji fizycznego/logicznego modelu danych (ERD, modele relacyjne) 
• Wiedza na temat zagadnień Data Quality, Data Lineage i zasad zarządzania danymi 
• Umiejętność korzystania z narzędzi do zarządzania metadanymi (np. Azure Purview, etc.) 

Projekt: Data platform - HD w Cloud (ELT w oparciu o silnik procesowania danych na Azure Databricks lub BigQuery na GCP oraz natywne usługi dla Ingestu, Transformacji i Orkiestracji danych) data modellingu (modelowanie struktur DB). Budujemy zespół, którego zadaniem będzie zbudowanie takiej platformy, a potem poszczególnych procesów. Wybór chmury jeszcze trwa.  

UWAGI: 

DWH w podejściu ELT z architekturą medalionową (warstwy Bronze, Silver i Gold) – tzw. Lakehouse. Niestety na obecnym etapie nie wiemy jeszcze, czy będziemy osadzać Data Platform w chmurze Azure czy GCP. Tym samym stawiamy na interdyscyplinarność (kompetencje zarówno w Azure i GCP), a potencjalnie rozważane komponenty to: 

Azure:

• Storage: ADLS 
• Ingest: ADF i Databricks 
• Transformacje: Datatbricks/dbt 
• Orkiestracja: ADF/Airflow 
• DataGov i DataQuality: UnityCatalog/Purview 

GCP:

• Storage: CloudObjectStorage 
• Ingest: Pub/Sub i Dataflow 
• Transformacje: BigQuery/dbt 
• Orkiestracja: Composer/Airflow 
• DataGov i DataQuality: Dataplex 

Oferta:  

• Lokalizacja: Wrocław/ praca 100% zdalna 
• Start: asap 
• Współpraca: projekt szacowany co najmniej do lipca 2026 
• Zatrudnienie: przez apreel na zasadach B2B 
• Stawka: 170-195 PLN netto/h +VAT 

,[ Requirements: Cloud, Azure Databricks, BigQuery, GCP, Data modelling, R, DDD, Data mapping, Azure, C, API, DWH, DWH, ADLS, ADF, Databricks, dbt, Airflow, PUB Tools: Jira, Confluence, GitLab, GIT, Jenkins, Agile, Scrum. Additionally: Remote work.

Praca Wrocław

Wrocław - Oferty pracy w okolicznych lokalizacjach