Dołącz do zespołu Big Data, który liczy 12 osób i pracuje w metodyce SCRUM. Zespół realizuje zarówno projekty biznesowe, jak i badawczo-rozwojowe (R&D).

Na co dzień zajmuje się m.in. implementacją rozwiązań z zakresu przetwarzania danych streamingowych (np. skrócenie czasu ładowania danych pod reporting w sektorze finansowym). Zespół ściśle współpracuje z Data Science, wdrażając i rozwijając rozwiązania ML/AI, a także wspiera architektonicznie i wdrożeniowo inne projekty.

Pracujemy w nowoczesnym ekosystemie obejmującym m.in. Python, Java, Kubeflow, Kafka, Hadoop Cloudera (CDP), Spark, Nifi, GX. W najbliższym czasie planowane jest także rozszerzenie działań w kierunku chmury (GCP i Azure).

Big Data Engineer

Twój zakres obowiązków

• Rozwój i utrzymanie rozwiązań Big Data w oparciu o platformę Hadoop i Spark,
• Implementacja procesów przetwarzania dużych zbiorów danych (batch i streaming),
• Integracja danych z wielu źródeł w różnych formatach (JSON, PARQUET, ORC, AVRO),
• Optymalizacja i automatyzacja procesów przetwarzania danych,
• Tworzenie i utrzymywanie dokumentacji technicznej,
• Współpraca z zespołami Data Science oraz innymi zespołami projektowymi.

Nasze wymagania

• Minimum 3 lata doświadczenia w programowaniu w Spark w języku Python (lub Scala),
• Znajomość koncepcji Big Data, Hurtowni Danych i Zarządzania Danymi,
• Praktyczna znajomość platformy Hadoop Cloudera/Hortonworks,
• Doświadczenie w pracy z dużymi zbiorami danych oraz dobrymi praktykami inżynieryjnymi (projektowanie, modelowanie danych, testowanie, wdrażanie),
• Bardzo dobra znajomość SQL,
• Doświadczenie w integracji danych z różnych źródeł,
• Znajomość narzędzi do budowy projektów/aplikacji (np. Maven).
• Praktyczna znajomość procesów i narzędzi Agile (Jira, Confluence, Kanban, Scrum),
• Znajomość platformy Kubeflow,
• Doświadczenie z technologiami i narzędziami strumieniowymi (Kafka, Apache Nifi),
• Wiedza z zakresu automatyzacji procesów CI/CD.