Big Data Developer (Scala/Spark/Hadoop)
Miejsce pracy: Warszawa
Technologies we use
Expected
- Scala
- Spark
- Hadoop
- Hive
- Oozie
- Kafka
- Docker
- Kubernetes
About the project
Salary: 1000-1350 PLN/day on B2B
Work model: elastic hybrid from Gdynia / Gdańsk / Warszawa (at least 2 days per week from the office)
We are looking for a Big Data Developer to help build a new global customer account reporting engine, replacing legacy systems and consolidating all account and payment transaction data into Hadoop. The solution will process billions of transactions monthly and serve 10M+ customers. You will be part of the team, following the SAFe Agile framework. Your role will focus on developing high-performing, scalable, and easily maintainable data processing solutions in Scala and Spark while working with multiple upstream and downstream integrations.
Your responsibilities
- Designing and implementing a high-performance, scalable global reporting solution
- Developing distributed and parallelized data pipelines for massive transaction processing
- Working with Scala and Spark to optimize and transform financial datasets
- Integrating multiple data sources using Hadoop, Kafka, Hive, and Oozie
- Collaborating in an Agile SAFe team with Solution Architects, Analysts, and Developers
Our requirements
- 3+ years of experience in functional programming with Scala
- Experience developing Spark-based applications in Scala
- Hands-on experience with Hadoop stack (Hive, Oozie, Kafka)
- Familiarity with containerized technologies (Docker, Kubernetes)
- Strong communication skills and ability to work in distributed teams
- Fluent English (B2 minimum)
Optional
- Deep understanding of distributed systems principles
- Experience in data engineering and ETL/ELT pipelines
- Performance tuning experience for Hadoop/Spark solutions
- Experience developing RESTful services
- Knowledge of Bootstrap and ReactJS
- Experience with container-based technologies: Docker, Kubernetes
- Experience working in Agile methodologies
What we offer
- You can expect a flexible work organization
- The international work environment will give you the opportunity to interact with the English language on a daily basis
- Scandinavian organizational culture will provide you with work-life balance, you will gain time for additional training (financed by Jit)
- The Jit community will bring you a nice time during regular integration meetings
Client – why choose this particular client from the Jit portfolio?
Our Client dominates the Polish e-commerce arena as the market leader since 1999. With a user base of over 20 million and growing, this well-established platform is at the forefront of e-commerce, constantly striving for growth through market expansion and investment. As a major player in technology, our Client boasts a talented IT team of over 1,000 employees who focus on developing their own cutting-edge technologies.
Jit Team has had a successful partnership with our Client since spring 2021, with multiple software development teams dedicated to our Clients platforms. These teams operate autonomously, designing platform components through micro-services.
Working with our Client offers a chance to contribute to a solution used by millions on a daily basis and to tackle the challenge of delivering software at a massive scale, where even a single second of delay can have a significant impact. This project provides a unique opportunity to work with state-of-the-art technologies and tools, making it a rare and valuable experience.
Jit Team sp. z o.o.
The Human factor of IT - its not just a slogan, its a philosophy. The foundation of Jit Team is people, which is why we prioritise you. We employ over 700 experienced experts. We create highly specialised teams for clients from all over the world. We offer team members developmental projects, a wide range of benefits and a proprietary professional development programme.
Behind our maxim are also charitable and educational activities. We support pupils and students by donating learning equipment. We offer internships to help launch careers in IT. We support water rescuers and hospitals by providing the necessary equipment. We are a Polish company and we share what we have achieved over 15 years of activity. By supporting indigenous initiatives, we ensure the circulation of good energy.
Klikając w przycisk „Aplikuj” lub w inny sposób wysyłając zgłoszenie rekrutacyjne, zgadzasz się na przetwarzanie Twoich danych osobowych przez Jit Team sp. z o.o. z siedzibą w: Łużycka 8c, 81-537 Gdynia (Pracodawca), jako administratora danych osobowych w celu przeprowadzenia rekrutacji na stanowisko wskazane w ogłoszeniu.
Twoje dane osobowe będą przetwarzane w oparciu o następujące podstawy prawne: (a) aby podjąć działania na Twoje żądanie przed zawarciem umowy (np. informacje o oczekiwanym wynagrodzeniu i dostępności do rozpoczęcia pracy); (b) w oparciu o nasz prawnie uzasadniony interes (np. imię, nazwisko, data urodzenia, dane kontaktowe, wykształcenie, kwalifikacje zawodowe, przebieg dotychczasowego zatrudnienia); c) w oparciu o Twoją zgodę, która wyrażona jest poprzez przeslanie dokumentów aplikacyjnych zawierających takie informacje jak np. wizerunek czy zainteresowania.
Podanie wszystkich danych osobowych, o których mowa powyżej jest dobrowolne, natomiast dane wymienione w lit. a) i b) są niezbędne do wzięcia udziału w rekrutacji. Niepodanie danych skutkuje brakiem możliwości rozpatrzenia kandydatury. Podanie pozostałych danych jest dobrowolne, ale może pomóc w sprawnym przeprowadzeniu procesu rekrutacji.
Masz prawo żądać dostępu do Twoich danych (w tym uzyskania ich kopii), sprostowania danych, ich usunięcia, ograniczenia przetwarzania, przeniesienia, jak również wniesienia sprzeciwu wobec ich przetwarzania. Masz także prawo wniesienia skargi do Prezesa Urzędu Ochrony Danych Osobowych.
Twoje dane osobowe mogą zostać przekazane dostawcom usługi publikacji ogłoszeń o pracę, dostawcom systemów do zarządzania rekrutacjami, dostawcom usług IT (hosting), dostawcom systemów informatycznych.
Podane przez Ciebie dane osobowe nie będą wykorzystywane w celu profilowania albo podejmowania decyzji w sposób zautomatyzowany.
Twoje dane osobowe będą przetwarzane przez okres maks. 1 roku od zakończenia publikacji ogłoszenia, chyba, że wyraziłeś odrębną zgodę na wykorzystanie Twoich danych osobowych w przyszłych rekrutacjach.
W celu realizacji praw lub w przypadku jakichkolwiek pytań związanych z przetwarzaniem Twoich danych osobowych skontaktuj się z nami pod adresem: rodo@jit.team.
