Informacje o stanowisku

Dołącz do międzynarodowego projektu realizowanego w obszarze platform danych i rozwiązań AI, którego celem jest migracja środowiska danych z infrastruktury on-premise do Google Cloud Platform. Projekt obejmuje transformację istniejącej platformy opartej o technologie Hadoop do nowoczesnej, chmurowej architektury danych.

Requirements

• Minimum 5 lat komercyjnego doświadczenia na stanowisku Data Engineer lub podobnym
• Bardzo dobra znajomość Google Cloud Platform, w szczególności Dataproc, Dataflow, BigQuery oraz Cloud Composer
• Wcześniejsza praca w projektach migracyjnych
• Doskonała znajomość Python - ETL, pipeline’y danych, automatyzacja
• Dobra znajomość Java, szczególnie w kontekście przetwarzania danych - Spark, Beam, batch/streaming
• Doświadczenie w projektowaniu i realizacji złożonych pipeline’ów danych w środowiskach produkcyjnych
• Praktyczna znajomość narzędzi orkiestracji, automatyzacji i CI/CD (np. Airflow, Git, Terraform)
• Umiejętność architektowania rozwiązań danych w GCP z uwzględnieniem bezpieczeństwa, data governance i kontroli dostępu
• Bardzo dobra znajomość języka angielskiego
• Samodzielność w podejmowaniu decyzji technicznych oraz umiejętność pracy zespołowej
• Wymagane przebywanie na terenie Polski oraz płynna znajomość języka polskiego

Nice-to-have requirements

• Doświadczenie w pracy z Cloudera lub podobnymi platformami Hadoop

Dołącz do międzynarodowego projektu realizowanego w obszarze platform danych i rozwiązań AI, którego celem jest migracja środowiska danych z infrastruktury on-premise do Google Cloud Platform. Projekt obejmuje transformację istniejącej platformy opartej o technologie Hadoop do nowoczesnej, chmurowej architektury danych.

,[Udział w migracji platformy danych z środowiska on-premise do Google Cloud Platform, Analiza istniejących rozwiązań legacy oraz rekomendowanie docelowej architektury danych w chmurze, Projektowanie i implementacja pipeline’ów danych (batch i streaming) w środowisku produkcyjnym, Praca z usługami GCP, w szczególności Dataproc, Dataflow, BigQuery, Cloud Composer, Automatyzacja procesów przetwarzania danych oraz orkiestracja workflow, Współpraca z zespołami międzynarodowymi oraz zewnętrznym partnerem technologicznym, Udział w warsztatach technicznych, przeglądach architektury i pracach koncepcyjnych, Zapewnienie skalowalności, bezpieczeństwa oraz efektywności kosztowej rozwiązań Requirements: GCP, Python, Java, Apache Spark, BigQuery, CI/CD, Apache Beam, Apache Airflow, Cloudera, Apache Hadoop Additionally: Sport subscription, Training budget, Private healthcare, Small teams, International projects, Free coffee, Modern office, Free breakfast, No dress code, In-house trainings.

Praca Toruń

Doradca podatkowy w Polsce Toruń

Pracownicy uczelni w Polsce Toruń

Toruń - Oferty pracy w okolicznych lokalizacjach