Projekt realizowany jest w obszarze Group Financial Crime Prevention i skupia się na budowie nowoczesnej platformy danych wspierającej wykrywanie przestępstw finansowych.

Zespół odpowiada za rozwój pipeline’ów Big Data oraz aplikacji streamingowych, które integrują dane z wielu źródeł – zarówno wewnętrznych systemów, jak i zewnętrznych dostawców danych.

Senior Data Engineer

Twój zakres obowiązków

• Projektowanie i rozwój rozproszonych pipeline’ów Big Data przetwarzających duże wolumeny danych (structured & unstructured).
• Tworzenie aplikacji streamingowych integrujących dane z wielu źródeł.
• Wykorzystanie Apache Spark i Scala do transformacji, wzbogacania i przetwarzania danych.
• Budowa pipeline’ów danych wykorzystywanych w analityce, wizualizacji danych oraz systemach AML.
• Integracja systemów opartych o Kafka i Hadoop ecosystem.
• Współpraca z zespołami DevOps w zakresie CI/CD oraz deploymentu pipeline’ów danych.
• Udział w procesie Continuous Delivery oraz pracy w metodykach Agile.
• Zapewnienie wysokiej jakości kodu oraz skalowalności rozwiązań.

Nasze wymagania

• Scala
• Spark
• Big Data Ecosystem (Hadoop stack: YARN, EMR, Sqoop, Hive, etc.)
• Kafka – podstawowy exp
• Impala
• AWS
• Snowflake