Big Data Engineer
Miejsce pracy: Warszawa
Technologies we use
Expected
- Apache Spark
- Hadoop
- Kafka
- Flink
- Python
- Scala
- Java
- SQL
- PostgreSQL
- MongoDB
- Cassandra
- AWS
- Microsoft Azure
- Google Cloud Platform
- Apache Airflow
- Docker
- Kubernetes
Optional
- Apache Kafka Streams
- Kinesis
- Pulsar
- Microsoft Power BI
- Tableau
- Looker
About the project
We are seeking a skilled Big Data Engineer to join our data engineering team. The ideal candidate will have extensive experience in building and managing large-scale data processing systems. This role involves designing, implementing, and optimizing data pipelines and infrastructure to support analytics, machine learning, and business intelligence efforts.
This role offers an opportunity to work on complex, large-scale data projects and help shape the future of data-driven decision-making. If you are passionate about big data technologies and thrive in a fast-paced, innovative environment, we encourage you to apply.
MD rate: 200 - 240 EUR
Your responsibilities
- Design, develop, and maintain big data pipelines to process and analyze large datasets.
- Implement data ingestion, processing, and storage solutions using big data frameworks such as Apache Spark, Hadoop, and Kafka.
- Optimize data pipelines for performance, scalability, and fault tolerance.
- Collaborate with data scientists, analysts, and other stakeholders to ensure data availability and usability.
- Develop and maintain data storage solutions such as HDFS, Amazon S3, Google Cloud Storage, or Azure Data Lake.
- Ensure data quality and integrity through automated testing and validation processes.
- Monitor and troubleshoot big data infrastructure to ensure optimal performance and reliability.
- Document technical solutions, workflows, and best practices.
Our requirements
- Proficiency in big data technologies such as Apache Spark, Hadoop, Kafka, or Flink.
- Strong programming skills in languages like Python, Scala, or Java.
- Experience with SQL and NoSQL databases such as PostgreSQL, MongoDB, or Cassandra.
- Familiarity with cloud platforms such as AWS, Azure, or Google Cloud, including their big data services (e.g., EMR, BigQuery, Databricks).
- Knowledge of data modeling, ETL processes, and data pipeline orchestration tools like Apache Airflow, Luigi, or Dagster.
- Strong understanding of distributed computing principles and parallel processing.
- Experience with containerization tools such as Docker and orchestration tools like Kubernetes.
- Strong problem-solving skills and ability to troubleshoot large-scale data systems.
Optional
- Experience with real-time data processing and streaming platforms such as Apache Kafka Streams, Kinesis, or Pulsar.
- Familiarity with machine learning pipelines and integration with big data systems.
- Knowledge of data governance, security, and compliance in big data environments.
- Experience with CI/CD tools for automating data pipeline deployment and management.
- Exposure to Agile/Scrum methodologies.
- Understanding of data visualization tools such as Power BI, Tableau, or Looker.
This is how we organize our work
This is how we work
- in house
- you have influence on the technological solutions applied
- you have influence on the product
- agile
- scrum
This is how we work on a project
- Continuous Deployment
- Continuous Integration
Benefits
- remote work opportunities
Klikając w przycisk „Aplikuj” lub w inny sposób wysyłając zgłoszenie rekrutacyjne, zgadzasz się na przetwarzanie Twoich danych osobowych przez EndySoft z siedzibą w: Riegrova 832, 738 01 Frýdek-Místek (Pracodawca), jako administratora danych osobowych w celu przeprowadzenia rekrutacji na stanowisko wskazane w ogłoszeniu.
Twoje dane osobowe będą przetwarzane w oparciu o następujące podstawy prawne: (a) aby podjąć działania na Twoje żądanie przed zawarciem umowy (np. informacje o oczekiwanym wynagrodzeniu i dostępności do rozpoczęcia pracy); (b) w oparciu o nasz prawnie uzasadniony interes (np. imię, nazwisko, data urodzenia, dane kontaktowe, wykształcenie, kwalifikacje zawodowe, przebieg dotychczasowego zatrudnienia); c) w oparciu o Twoją zgodę, która wyrażona jest poprzez przeslanie dokumentów aplikacyjnych zawierających takie informacje jak np. wizerunek czy zainteresowania.
Podanie wszystkich danych osobowych, o których mowa powyżej jest dobrowolne, natomiast dane wymienione w lit. a) i b) są niezbędne do wzięcia udziału w rekrutacji. Niepodanie danych skutkuje brakiem możliwości rozpatrzenia kandydatury. Podanie pozostałych danych jest dobrowolne, ale może pomóc w sprawnym przeprowadzeniu procesu rekrutacji.
Masz prawo żądać dostępu do Twoich danych (w tym uzyskania ich kopii), sprostowania danych, ich usunięcia, ograniczenia przetwarzania, przeniesienia, jak również wniesienia sprzeciwu wobec ich przetwarzania. Masz także prawo wniesienia skargi do Prezesa Urzędu Ochrony Danych Osobowych.
Twoje dane osobowe mogą zostać przekazane dostawcom usługi publikacji ogłoszeń o pracę, dostawcom systemów do zarządzania rekrutacjami, dostawcom usług IT (hosting), dostawcom systemów informatycznych.
Podane przez Ciebie dane osobowe nie będą wykorzystywane w celu profilowania albo podejmowania decyzji w sposób zautomatyzowany.
Twoje dane osobowe będą przetwarzane przez okres maks. 1 roku od zakończenia publikacji ogłoszenia, chyba, że wyraziłeś odrębną zgodę na wykorzystanie Twoich danych osobowych w przyszłych rekrutacjach.
W celu realizacji praw lub w przypadku jakichkolwiek pytań związanych z przetwarzaniem Twoich danych osobowych skontaktuj się z nami pod adresem: jobs@endysoft.com.
