technologies-expected :

responsibilities :

Jako członek zespołu OneData Federated Delivery, działającego w ramach filaru Secure Foundations Tech Ecosystem, będziesz odpowiedzialny za budowanie i utrzymywanie potoków danych (data pipelines) z różnych źródeł.
Twoja praca pomoże kierownictwu firmy w zrozumieniu i podejmowaniu działań opartych na wynikach strategicznych, a także wesprze zespoły produktowe i usługowe w kierowaniu się do właściwych grup użytkowników oraz mierzeniu efektów inicjatyw zwiększających produktywność z wykorzystaniem GenAI.
Będziesz pobierać dane surowe z narzędzi takich jak Jira, GitHub, AWS, ServiceNow oraz innych infrastruktur chmurowych, a następnie przygotowywać je do analizy w hurtowni danych Snowflake – w tym przetwarzać, oczyszczać, łączyć i modelować dane.
Staniesz się częścią zwinnego zespołu danych, który składa się z inżynierów danych oraz analityków danych. Będziesz blisko współpracować z zespołem, aby zapewnić, że dane są dopasowane do potrzeb i dostarczają wartość biznesową.
Będziesz stosować oraz promować najlepsze praktyki inżynierii danych, takie jak CI/CD, obserwowalność (monitoring), bezpieczeństwo.

requirements-expected :

Tworzenie nowych rozwiązań, rozwój istniejących, rozwiązywanie błędów i wsparcie produkcyjne w ramach rozwoju ETL przy użyciu natywnych usług AWS.
Integracja zbiorów danych z wykorzystaniem usług AWS, takich jak Glue oraz Lambda.
Wysyłanie e-maili i powiadomień za pomocą AWS SNS.
Tworzenie procesów ETL z użyciem Python i PySpark.
Monitorowanie procesów ETL przy użyciu CloudWatch Events.
Łączenie się z różnymi źródłami danych (np. S3) oraz walidacja danych z użyciem Athena.
Biegłość w pracy zgodnie z metodyką Agile.
Doświadczenie w pracy z DBT oraz praktykami inżynierii oprogramowania (Terraform, środowiska Dev/QA/Prod, CI/CD z użyciem GitHub Actions, guardrails, testy bezpieczeństwa).
Znajomość zaawansowanego SQL i głębokie zrozumienie zapytań SQL (preferowany Snowflake).
Doświadczenie w pracy z Snowflake oraz zrozumienie architektury Snowflake, w tym pojęć takich jak tabele wewnętrzne i zewnętrzne, stages, polityki maskowania danych (masking policies).
Głębokie umiejętności techniczne w zakresie AWS Glue (Crawler, Data Catalog)
Praktyczne doświadczenie z Pythonem
Znajomość SQL
Doświadczenie z CloudFormation i Terraform
Znajomość CI/CD z wykorzystaniem GitHub Actions
Modelowanie danych przy pomocy DBT
Dobre zrozumienie usług AWS, takich jak:
S3
SNS
Secrets Manager
Athena
Lambda
Dodatkowo pożądana jest znajomość któregoś z następujących narzędzi: Jira, GitHub, Snowflake.

responsibilities :