Dołącz do zespołu odpowiedzialnego za budowę i utrzymanie nowoczesnych pipeline’ów danych w środowisku chmurowym (AWS). Poszukujemy doświadczonego Data Engineera, który będzie wspierał migrację danych z systemów on-premise do chmury oraz rozwijał centralną platformę danych w oparciu o technologie Big Data.

Tryb pracy: Hybrydowo (2 dni w tygodniu)

Expert IT Developer / Data Engineer

Twój zakres obowiązków

• Tworzenie skalowalnych i rozproszonych pipeline’ów danych przy użyciu Apache Spark i Scali
• Przetwarzanie dużych wolumenów danych (strukturalnych i niestrukturalnych) w czasie zbliżonym do rzeczywistego
• Udział w projektach migracyjnych do środowisk chmurowych (AWS)
• Rozwój i utrzymanie komponentów platformy danych
• Współpraca z analitykami danych, zespołami QA i interesariuszami biznesowymi
• Automatyzacja i testowanie procesów przetwarzania danych

Nasze wymagania

• Minimum 5 lat doświadczenia z Apache Spark i językiem Scala
• Minimum 7 lat doświadczenia z Pythonem
• Doświadczenie w pracy na systemach Linux (min. 5 lat)
• Znajomość technologii Hadoop (Hive, Oozie, MapReduce)
• Bardzo dobra znajomość SQL
• Praktyka w pracy z systemami kontroli wersji Bitbucket i GIT
• Doświadczenie w pracy z AWS lub posiadanie certyfikatu AWS
• Znajomość testów jednostkowych (JUnit 5, Mockito, Spark Testing)
• Bardzo dobra znajomość języka angielskiego (min. poziom B2+)
• Znajomość strategii branchowania i wersjonowania kodu
• Doświadczenie w pracy w metodykach Agile / SAFe