Projekt związany z pracą nad architekturą dużych baz danych.
responsibilities :
Opracowywanie ram do automatyzacji testowania potoków danych
Wdrażanie automatyzacji infrastruktury, komponentów bezpieczeństwa oraz ciągła integracja i dostarczanie w celu optymalnego wykonywania potoków danych (ELT/ETL).
Monitorowanie mechanizmów ostrzegania, aby poprawić jakość i dokładność dostarczania danych.
Projektowanie i budowanie dużych, rozproszonych systemów
Integrowanie platform Data Science (np. Dataiku)
requirements-expected :
Doświadczenie w pracy z chmurą AWS w zakresie tworzenia, zarządzania i monitorowania infrastruktury
Praktyczna wiedza związana z danymi, np. data lakes czy delta lakes
Wiedza i doświadczenie z technologiami rozproszonymi na dużą skalę, w tym między innymi: Hadoop, Kafka, Kubernetes, Spark
Bardzo dobra znajomość języków programowania, takich jak Python, Java lub Scala
Umiejętność pracy z rozproszonymi systemami przetwarzania danych
Umiejętność konfiguracji i skalowania K8S, zarządzania Dockerem z Harbor; znajomość CI/CD
Doświadczenie w migracji technologii pamięci masowej (np. z HDFS)
Bardzo dobra znajomość narzędzi: Kafka, Control M, AWA
Doświadczenie w pracy w sektorze finansowym
Znajomość języka angielskiego w stopniu umożliwiającym komunikację z innymi członkami Zespołu
offered :
Możliwości rozwoju w kierunku, którym się interesujesz
