Szukamy doświadczonego Data Engineera, który dołączy do zespołu odpowiedzialnego za projektowanie i rozwój nowoczesnej platformy danych w chmurze AWS z wykorzystaniem Databricks.

Kandydat będzie kluczową osobą przy budowie skalowalnych pipeline’ów danych, migracji baz danych oraz wdrażaniu najlepszych praktyk governance i bezpieczeństwa danych w środowisku enterprise.

Data Engineer (AWS, Databricks)

Twój zakres obowiązków

• Projektowanie i rozwój pipeline’ów batch oraz near real-time w Databricks (Spark / PySpark)
• Praktyczna praca z Delta Lake: ACID, partitioning, Z-Ordering, optimize, vacuum
• Tworzenie i zarządzanie Databricks Workflows, Jobs i Unity Catalog
• Pisanie wydajnych transformacji i debugowanie problemów wydajnościowych
• Projektowanie architektury Data Lake w AWS: S3, IAM, KMS, VPC, PrivateLink, Secrets Manager
• Integracja z usługami AWS (Lambda, SNS/SQS, Glue)
• Projektowanie środowisk dev/test/prod oraz separacja kont/uprawnień
• Optymalizacja kosztów i wydajności w chmurze: tagging, monitoring, rekomendacje
• Migracje baz danych i konwersja logiki T-SQL/PL/pgSQL do Databricks
• Walidacja danych po migracji, reconciliation i raportowanie różnic
• Implementacja modeli uprawnień na poziomie katalogu, schematu, tabeli i kolumny
• Wdrażanie polityk governance, data lineage i audytu danych wrażliwych
• CI/CD dla pipeline’ów danych i infrastruktury
• Testy danych (unit, integration, data quality) oraz monitoring i alerting pipeline’ów
• Ścisła współpraca z zespołami aplikacyjnymi i architektami, komunikacja statusu i blockerów

Nasze wymagania

• Min. 4 lata doświadczenia w Data Engineering
• Min. 2 lata hands-on w Databricks
• Min. 2 lata hands-on w AWS
• Doświadczenie w co najmniej jednej dużej migracji danych lub platformy
• Bardzo dobra znajomość SQL (SQL Server i PostgreSQL mile widziane)
• Umiejętność debugowania wydajności transformacji i pipeline’ów
• Databricks Certified Data Engineer (Associate/Professional)
• AWS Certified Data Analytics lub Solutions Architect
• Doświadczenie z Unity Catalog i governance w środowisku enterprise