Technologies-expected : Python SQL ETL Azure/AWS/GCP Databrics Spark/Py Spark technologies-optional : snow Flake Airflow Apache Kafka about-project : Dołącz do projektu realizowanego w obszarze płatności jako Data Engineer. Zespół odpowiada za tworzenie, rozwijanie i utrzymanie globalnej platformy danych, integrującej informacje o płatnościach i terminalach z różnych systemów źródłowych na całym świecie. Specjaliści zajmują się ekstrakcją, transformacją oraz dostarczaniem danych użytkownikom końcowym w określonych formatach. Kluczowym elementem pracy jest komunikacja z użytkownikami biznesowymi, właścicielami danych oraz interesariuszami w celu doprecyzowania wymagań dotyczących danych, ich formatu i metod dostarczania. Jeśli chcesz pracować z pasjonatami technologii i mieć wpływ na tworzenie przełomowych rozwiązań, aplikuj do nas już dziś! responsibilities : Budowanie i projektowanie rozwiązań Data Lake i DWH Automatyzowanie oraz optymalizowanie procesów przetwarzania danych Łączenie danych z różnych systemów źródłowych (bazy danych, pliki, API) w jedno spójne środowisko analityczne Rozwijanie procesów ekstrakcji, transformacji oraz ładowania danych (ETL) z różnych źródeł Ścisła współpraca z interesariuszami biznesowymi Rozwijanie i optymalizacja środowiska chmurowego pod kątem wydajności i niezawodności requirements-expected : Minimum 5 lat doświadczenia na podobnym stanowisku Bardzo dobra znajomość języków SQL i Python oraz narzędzia Spark/Py Spark Doświadczenie w budowaniu skalowalnych, działających w czasie rzeczywistym i wysokowydajnych rozwiązań typu Data Lake Umiejętność rozwijania procesu ETL w różnych narzędziach (SSIS, ADF, IPC) Znajomość rozwiązań chmurowych (Azure, AWS, GCP) Doświadczenie w projektach związanych z migracją danych z on-premise do chmury (bazy danych: Oracle, Postgre SQL, MS SQL) Swobodna komunikacja w języku angielskim