.
Data Quality Engineer
  • Warsaw
Data Quality Engineer
Warszawa, Warsaw, Masovian Voivodeship, Polska
NESS SOLUTION sp. z o.o.
20. 9. 2024
Informacje o stanowisku

technologies-expected :


  • Snowflake Data Cloud
  • SQL
  • Apache Airflow
  • Python
  • AWS
  • GitLab

technologies-optional :


  • Oracle

about-project :


  • Inicjatywa dotyczy branży telewizyjno-medialnej.
  • Twoim zadaniem będzie budowa i rozwój hurtowni danych opartej na Snowflake, obejmująca integrację danych z różnych systemów, głównie baz Oracle. Quality Engineer będzie odpowiedzialny za projektowanie i realizację zadań związanych z zapewnieniem jakości, w tym sprawdzanie kompletności i poprawności pipelineów integrujących dane oraz monitorowanie, aby proces weryfikacji i naprawy danych przebiegał jak najefektywniej.

responsibilities :


  • Projektowanie i implementacja procesów monitorowania oraz poprawy jakości danych
  • Weryfikacja poprawności i kompletności procesów integracji danych (pipelineów)
  • Monitorowanie pipelineów integrujących dane i zapewnienie ich zgodności z wymaganiami jakościowymi
  • Tworzenie narzędzi i procesów automatyzujących detekcję oraz naprawę błędów danych
  • Analiza incydentów związanych z jakością danych oraz implementacja rozwiązań zapobiegawczych
  • Projektowanie i implementacja struktur oraz przepływów danych z uwzględnieniem najlepszych praktyk w zakresie jakości danych
  • Ścisła współpraca z członkami zespołu scrumowego, w tym Data Developerami, Data Analitykami i Architektami
  • Praca w zespole polskojęzycznym, z wymaganą komunikacją w języku angielskim z zagranicznymi zespołami

requirements-expected :


  • Praktyczne doświadczenie w tworzeniu hurtowni danych w chmurze
  • Minimum 3-letnie doświadczenie w obszarze Data Quality, obejmujące monitorowanie, kontrolę oraz poprawę jakości danych
  • Zaawansowana znajomość: Snowflake, SQL, Airflow, Python
  • Dobra znajomość: AWS (usługi takie jak S3, AWS Batch, Kinesis, Firehose, Lambda), GitLab
  • Znajomość metodologii Data Quality: kontrola jakości danych, walidacja, monitorowanie
  • Umiejętność analizy danych oraz identyfikacji problemów związanych z ich jakością
  • Doświadczenie w pracy z pipelineami danych oraz integracjami między systemami

offered :


  • Długofalowa współpraca w oparciu o kontrakt B2B
  • Atrakcyjne wynagrodzenie: 160-200 PLN/h netto + VAT
  • Praca zdalna
  • Możliwości rozwoju przy międzynarodowych inicjatywach
  • Prywatna opieka medyczna i karta Multisport

benefits :


  • dofinansowanie zajęć sportowych
  • prywatna opieka medyczna
  • możliwość pracy zdalnej
  • elastyczny czas pracy
  • spotkania integracyjne

  • Praca Warszawa
  • Warszawa - Oferty pracy w okolicznych lokalizacjach


    114 123
    20 838