Informacje o stanowisku

technologies-expected :

• Apache Spark
• Scala
• Python
• Linux
• Hadoop
• SQL
• Bitbucket
• Git
• AWS
• JUnit
• Mockito
• Spark Testing

• Dołącz do zespołu odpowiedzialnego za budowę i utrzymanie nowoczesnych pipeline’ów danych w środowisku chmurowym (AWS). Poszukujemy doświadczonego Data Engineera, który będzie wspierał migrację danych z systemów on-premise do chmury oraz rozwijał centralną platformę danych w oparciu o technologie Big Data.
• Tryb pracy: Hybrydowo (2 dni w tygodniu)

• Tworzenie skalowalnych i rozproszonych pipeline’ów danych przy użyciu Apache Spark i Scali
• Przetwarzanie dużych wolumenów danych (strukturalnych i niestrukturalnych) w czasie zbliżonym do rzeczywistego
• Udział w projektach migracyjnych do środowisk chmurowych (AWS)
• Rozwój i utrzymanie komponentów platformy danych
• Współpraca z analitykami danych, zespołami QA i interesariuszami biznesowymi
• Automatyzacja i testowanie procesów przetwarzania danych

• Minimum 5 lat doświadczenia z Apache Spark i językiem Scala
• Minimum 7 lat doświadczenia z Pythonem
• Doświadczenie w pracy na systemach Linux (min. 5 lat)
• Znajomość technologii Hadoop (Hive, Oozie, MapReduce)
• Bardzo dobra znajomość SQL
• Praktyka w pracy z systemami kontroli wersji Bitbucket i GIT
• Doświadczenie w pracy z AWS lub posiadanie certyfikatu AWS
• Znajomość testów jednostkowych (JUnit 5, Mockito, Spark Testing)
• Bardzo dobra znajomość języka angielskiego (min. poziom B2+)

• dofinansowanie zajęć sportowych
• prywatna opieka medyczna

Gdańsk - Oferty pracy w okolicznych lokalizacjach