.
Solution Architect (AWS, Spark) @ Crestt
  • Warsaw
Solution Architect (AWS, Spark) @ Crestt
Warszawa, Warsaw, Masovian Voivodeship, Polska
Crestt
21. 5. 2025
Informacje o stanowisku

? Profil kandydata

Szukamy osoby z doświadczeniem technicznym i biznesowym, która dobrze odnajdzie się w bezpośrednim kontakcie z klientem. Kluczowa jest samodzielność, inicjatywa i gotowość do zaangażowania w działania zarówno projektowe, jak i wewnętrzne/organizacyjne.

Lokalizacja: Warszawa lub zdalnie (na początku współpracy wymagane 2 dni onboardingu w biurze, w późniejszym etapie oczekujemy wizyt w biurze raz na miesiąc/dwa miesiące)


Rozwiązania coreowe dla roli:

  • AWS S3 – znajomość różnych klas przechowywania, versioning, struktura bucketów i prefixów
  • Apache Spark (w szczególności PySpark), np. w usługach: Glue, EMR, Databricks, Synapse
  • Git – zarządzanie branchami, rozwiązywanie konfliktów, code review
  • Format Parquet – wiedza o strukturze kolumnowej, ewolucji schematu, partycjonowaniu danych
  • Python – doświadczenie programistyczne
  • SQL – zaawansowane zapytania (CTE, funkcje okienkowe, procedury składowane)
  • Hive Metastore (np. Glue Catalog, Databricks, Nifi, Presto itd.)
  • Airflow

Istotne rozwiązania/technologie:

  • Infrastructure-as-Code (IaC) – np. CloudFormation, Terraform, Ansible, ARM, Chef
  • CI/CD – np. CodePipeline, GitHub Actions, GitLab, Jenkins, TeamCity
  • AWS Glue, AWS Lambda (lub ich odpowiedniki na Azure/GCP)
  • AWS Redshift – w tym Redshift Spectrum, procedury, materializowane widoki, tymczasowe tabele
  • AWS Step Functions
  • dbt
  • Formaty plików typu Delta Lake, Apache Iceberg, Hudi
  • HDFS
  • Scala

? Dodatkowe atuty:

  • Doświadczenie z koncepcjami: Data Lakehouse, Data Quality, Data Lineage, Data Governance
  • Praca z danymi strumieniowymi / w czasie rzeczywistym
  • Znajomość modelowania danych: Star Schema, Kimball, Data Vault, Common Data Model
  • Obszary: Master Data Management

? Profil kandydata

Szukamy osoby z doświadczeniem technicznym i biznesowym, która dobrze odnajdzie się w bezpośrednim kontakcie z klientem. Kluczowa jest samodzielność, inicjatywa i gotowość do zaangażowania w działania zarówno projektowe, jak i wewnętrzne/organizacyjne.

Lokalizacja: Warszawa lub zdalnie (na początku współpracy wymagane 2 dni onboardingu w biurze, w późniejszym etapie oczekujemy wizyt w biurze raz na miesiąc/dwa miesiące)

,[Projektowanie rozwiązań opartych o usługi chmurowe (AWS) z uwzględnieniem wymagań klienta i najlepszych praktyk architektonicznych, Współtworzenie i rozwój nowoczesnych procesów przetwarzania danych (ETL/ELT) z wykorzystaniem Apache Spark (głównie PySpark), Udział w spotkaniach z klientem – prezentowanie rozwiązań, zbieranie wymagań, doradztwo techniczne, Wspieranie zespołów developerskich w implementacji rozwiązań (code review, konsultacje, rozwiązywanie problemów), Tworzenie i utrzymywanie dokumentacji architektonicznej, Wdrażanie rozwiązań CI/CD oraz zarządzanie infrastrukturą jako kodem (IaC), Zapewnienie jakości i spójności danych poprzez dobór odpowiednich narzędzi i mechanizmów kontrolnych, Inicjowanie i udział w działaniach usprawniających procesy wewnętrzne oraz dzielenie się wiedzą w zespole Requirements: AWS, AWS S3, Apache Spark, PySpark, Glue, Databricks, Synapse, Git, Parquet, Python, SQL, Airflow, Hive Metastone, IaC, CloudFormation, Terraform, Ansible, GitHub, GitLab, Jenkins, TeamCity, AWS Glue, AWS Lambda, Redshift, dbt, HDFS, Scala, Data Lake, Vault, Data management, Big Data, Cloud, Data warehouse Additionally: Remote work.

  • Praca Warszawa
  • Warszawa - Oferty pracy w okolicznych lokalizacjach


    82 593
    8 786