ALGOTEQUE to firma doradcza IT, która wspiera startupy, średnie i duże przedsiębiorstwa w tworzeniu i wdrażaniu innowacyjnych technologii. Nasz zespół ma udokumentowane sukcesy w projektowaniu, rozwijaniu, wdrażaniu i integracji rozwiązań programistycznych (AI, ML, BI, Web, Automatyzacja) dla branż takich jak telekomunikacja, energetyka, bankowość, ubezpieczenia, farmacja, motoryzacja, przemysł oraz e-commerce. Świadczymy nasze usługi zarówno w modelu fixed-price, jak i time-and-materials, pomagając naszym klientom w osiąganiu ich celów biznesowych i strategii IT.
- Projektowanie, rozwój i optymalizacja procesów przetwarzania danych przy użyciu Spark w Pythonie lub Scali- Zarządzanie i integracja danych z wielu źródeł, zapewniając ich efektywne przetwarzanie i transformację- Praca z różnymi formatami danych- Implementacja i utrzymanie potoków danych na platformach opartych na Hadoop (Cloudera/Hortonworks)- Tworzenie i optymalizacja zaawansowanych zapytań SQL do ekstrakcji, transformacji i analizy danych- Zapewnienie jakości, spójności i wydajności danych w środowisku Big Data- Współpraca z zespołami międzydziałowymi w celu usprawnienia procesów i architektury danych
- Minimum 2 lata doświadczenia w branży IT- Dobra znajomość koncepcji Big Data, Hurtowni Danych i Zarządzania Danymi- Co najmniej 1 rok doświadczenia w programowaniu procesów Spark w Pythonie lub Scali- Praktyczna znajomość platform Hadoop (Cloudera/Hortonworks)- Zaawansowana znajomość SQL- Doświadczenie w pracy z różnymi formatami danych (JSON, PARQUET, ORC, AVRO)- Zrozumienie różnych typów baz danych i ich zastosowań (Hive, Kudu, HBase itp.)- Doświadczenie w integracji danych z wielu źródełMile widziane:- Praktyczna znajomość procesów i narzędzi Agile - Znajomość dobrych praktyk w przetwarzaniu dużych zbiorów danych, w tym standardów kodowania, dokumentowania, testowania i wdrażania- Znajomość platformy Kubeflow- Doświadczenie w automatyzacji CI/CD