.
Big Data Engineer
  • Warszawa
Big Data Engineer
Warszawa, Warszawa, Masovian Voivodeship, Polska
Algoteque
25. 2. 2025
Informacje o stanowisku

ALGOTEQUE to firma doradcza IT, która wspiera startupy, średnie i duże przedsiębiorstwa w tworzeniu i wdrażaniu innowacyjnych technologii. Nasz zespół ma udokumentowane sukcesy w projektowaniu, rozwijaniu, wdrażaniu i integracji rozwiązań programistycznych (AI, ML, BI, Web, Automatyzacja) dla branż takich jak telekomunikacja, energetyka, bankowość, ubezpieczenia, farmacja, motoryzacja, przemysł oraz e-commerce. Świadczymy nasze usługi zarówno w modelu fixed-price, jak i time-and-materials, pomagając naszym klientom w osiąganiu ich celów biznesowych i strategii IT.

Job Description :

- Projektowanie, rozwój i optymalizacja procesów przetwarzania danych przy użyciu Spark w Pythonie lub Scali- Zarządzanie i integracja danych z wielu źródeł, zapewniając ich efektywne przetwarzanie i transformację- Praca z różnymi formatami danych- Implementacja i utrzymanie potoków danych na platformach opartych na Hadoop (Cloudera/Hortonworks)- Tworzenie i optymalizacja zaawansowanych zapytań SQL do ekstrakcji, transformacji i analizy danych- Zapewnienie jakości, spójności i wydajności danych w środowisku Big Data- Współpraca z zespołami międzydziałowymi w celu usprawnienia procesów i architektury danych

Profile / Requirements :

- Minimum 2 lata doświadczenia w branży IT- Dobra znajomość koncepcji Big Data, Hurtowni Danych i Zarządzania Danymi- Co najmniej 1 rok doświadczenia w programowaniu procesów Spark w Pythonie lub Scali- Praktyczna znajomość platform Hadoop (Cloudera/Hortonworks)- Zaawansowana znajomość SQL- Doświadczenie w pracy z różnymi formatami danych (JSON, PARQUET, ORC, AVRO)- Zrozumienie różnych typów baz danych i ich zastosowań (Hive, Kudu, HBase itp.)- Doświadczenie w integracji danych z wielu źródełMile widziane:- Praktyczna znajomość procesów i narzędzi Agile - Znajomość dobrych praktyk w przetwarzaniu dużych zbiorów danych, w tym standardów kodowania, dokumentowania, testowania i wdrażania- Znajomość platformy Kubeflow- Doświadczenie w automatyzacji CI/CD

  • Praca Warszawa
  • Warszawa - Oferty pracy w okolicznych lokalizacjach


    91 114
    11 909