Jako Senior Scala Developer będziesz odpowiedzialny za projektowanie, rozwój oraz optymalizację rozwiązań big-data w obszarze Contextual Monitoring / Transaction Monitoring dla sektora Financial Services. Twoja rola obejmuje tworzenie i utrzymanie pipeline’ów danych w oparciu o Scala/Spark, budowanie workflowów w Airflow/Oozie oraz pracę z rozproszonymi systemami przetwarzania danych na dużą skalę (TB+).
responsibilities :
Projektowanie i rozwój komponentów Scala/Spark dla zaawansowanych procesów analityczno-transakcyjnych,
Optymalizacja i strojenie jobów Spark (wydajność, pamięć, partycjonowanie),
Tworzenie i utrzymanie pipeline’ów danych (ETL/ELT) oraz workflowów Airflow/Oozie,
Praca z danymi przechowywanymi w HDFS/Hive oraz Elasticsearch,
Przygotowywanie testów jednostkowych i integracyjnych (ScalaTest, Specs2),
Udział w procesach CI/CD (Bamboo), code review oraz refaktoryzacji,
Współpraca z data scientistami, analitykami i inżynierami w środowisku Agile (Scrum/SAFe),
Mentoring młodszych członków zespołu.
requirements-expected :
Minimum 5–8 lat doświadczenia jako Software Engineer, w tym 5+ lat pracy z językiem Scala,
Biegła znajomość Apache Spark na poziomie eksperckim (RDD, DataFrames, Datasets, Spark SQL),
Doświadczenie w przetwarzaniu danych na dużą skalę (TB+),
Umiejętność optymalizacji jobów Spark (performance tuning, data locality, memory management),
Doświadczenie w pracy z Airflow i/lub Oozie,
Znajomość narzędzi i technologii: Docker, Kubernetes, Git/Bitbucket, Bamboo, Gradle/Maven,
Doświadczenie z HDFS, Hive, Parquet, JSON, CSV, XML,
