Projekt realizowany jest w obszarze Group Financial Crime Prevention i skupia się na budowie nowoczesnej platformy danych wspierającej wykrywanie przestępstw finansowych.
Zespół odpowiada za rozwój pipeline’ów Big Data oraz aplikacji streamingowych, które integrują dane z wielu źródeł – zarówno wewnętrznych systemów, jak i zewnętrznych dostawców danych.
responsibilities :
Projektowanie i rozwój rozproszonych pipeline’ów Big Data przetwarzających duże wolumeny danych (structured & unstructured).
Tworzenie aplikacji streamingowych integrujących dane z wielu źródeł.
Wykorzystanie Apache Spark i Scala do transformacji, wzbogacania i przetwarzania danych.
Budowa pipeline’ów danych wykorzystywanych w analityce, wizualizacji danych oraz systemach AML.
Integracja systemów opartych o Kafka i Hadoop ecosystem.
Współpraca z zespołami DevOps w zakresie CI/CD oraz deploymentu pipeline’ów danych.
Udział w procesie Continuous Delivery oraz pracy w metodykach Agile.
Zapewnienie wysokiej jakości kodu oraz skalowalności rozwiązań.
requirements-expected :
Scala
Spark
Big Data Ecosystem (Hadoop stack: YARN, EMR, Sqoop, Hive, etc.)
