Jako Senior Scala Developer będziesz odpowiedzialny za projektowanie, rozwój oraz optymalizację rozwiązań big-data w obszarze Contextual Monitoring / Transaction Monitoring dla sektora Financial Services. Twoja rola obejmuje tworzenie i utrzymanie pipeline’ów danych w oparciu o Scala/Spark, budowanie workflowów w Airflow/Oozie oraz pracę z rozproszonymi systemami przetwarzania danych na dużą skalę (TB+).

Senior Scala Developer

Twój zakres obowiązków

• Projektowanie i rozwój komponentów Scala/Spark dla zaawansowanych procesów analityczno-transakcyjnych,
• Optymalizacja i strojenie jobów Spark (wydajność, pamięć, partycjonowanie),
• Tworzenie i utrzymanie pipeline’ów danych (ETL/ELT) oraz workflowów Airflow/Oozie,
• Praca z danymi przechowywanymi w HDFS/Hive oraz Elasticsearch,
• Przygotowywanie testów jednostkowych i integracyjnych (ScalaTest, Specs2),
• Udział w procesach CI/CD (Bamboo), code review oraz refaktoryzacji,
• Współpraca z data scientistami, analitykami i inżynierami w środowisku Agile (Scrum/SAFe),
• Mentoring młodszych członków zespołu.

Nasze wymagania

• Minimum 5–8 lat doświadczenia jako Software Engineer, w tym 5+ lat pracy z językiem Scala,
• Biegła znajomość Apache Spark na poziomie eksperckim (RDD, DataFrames, Datasets, Spark SQL),
• Doświadczenie w przetwarzaniu danych na dużą skalę (TB+),
• Umiejętność optymalizacji jobów Spark (performance tuning, data locality, memory management),
• Doświadczenie w pracy z Airflow i/lub Oozie,
• Znajomość narzędzi i technologii: Docker, Kubernetes, Git/Bitbucket, Bamboo, Gradle/Maven,
• Doświadczenie z HDFS, Hive, Parquet, JSON, CSV, XML,
• Praktyczna znajomość testowania big-data: ScalaTest, Specs2, ScalaCheck,
• Umiejętność projektowania wydajnych pipeline’ów ETL/ELT,
• Podstawy architektury systemów rozproszonych i wzorców projektowych,
• Umiejętności miękkie: dobra komunikacja, rozwiązywanie problemów, mentoring, praca zespołowa,
• Wykształcenie kierunkowe (Informatyka lub pokrewne),
• Swoboda w pracy w środowisku Agile (Scrum/SAFe).
• Doświadczenie w branży bankowej / AML / KYC / Transaction Monitoring,
• Wiedza w zakresie Quantexa,
• Doświadczenie w migracji Oozie → Airflow,
• Znajomość praktyk data governance i security,
• Doświadczenie z monitoringiem: Prometheus, Grafana, ELK stack,
• Doświadczenie z Graph Analytics lub entity resolution,
• Znajomość systemów wspierających regulatory reporting i compliance.