Senior Data Engineer (Databricks)
Miejsce pracy: Poznań
Technologies we use
Optional
- Apache Airflow
- Azure DevOps
- Kubernetes
- Microsoft Azure
- AWS
- Google Cloud Platform
- Databricks
About the project
We are excited to present an opportunity for a Senior Data Engineer to join our client’s team, contributing to the development of an innovative blockchain crypto solution. This role offers the chance to work on cutting-edge technology that helps audit teams verify client assets, including cryptocurrencies. If you are passionate about data engineering, blockchain, and large-scale systems, this is the perfect role for you!
Your responsibilities
- Design, develop, and maintain scalable data pipelines using Python, PySpark, and Databricks.
- Implement data orchestration workflows using Airflow or similar tools.
- Manage and optimize data storage solutions on Azure Cloud.
- Develop and maintain containerized microservices using Docker.
- Collaborate with cross-functional teams to ensure data quality and integrity.
- Support blockchain setups and build tools to extract data from blockchains for analysis using Databricks.
- Maintain production infrastructure, ensuring effective monitoring and automation with tools like Datadog.
- Participate in agile development, planning, and work within cross-functional teams.
Our requirements
- Bachelor’s or Master’s degree in Computer Science, Data Science, or a related field.
- Advanced knowledge of Python for data processing and scripting.
- Proven experience with Spark and SQL for data engineering and analysis.
- Experience with data orchestration tools like Airflow.
- Hands-on experience with cloud platforms such as Azure, AWS, or GCP.
- Proficiency in RDBMS/NoSQL databases.
- Experience with Docker containerization (Kubernetes is a plus).
- Strong understanding of the software development lifecycle.
- Familiarity with blockchain technologies and data structures.
- Strong communication and interpersonal skills.
Optional
- Cryptography knowledge in blockchain is a plus.
- Databricks experience and familiarity with Delta Lake are pluses.
This is how we organize our work
This is how we work
- in house
- at the clients site
- you can change the project
- you have influence on the choice of tools and technologies
- you have influence on the technological solutions applied
- you have influence on the product
- scrum
This is how we work on a project
- Clean Code
- code quality measures
- code review
- design patterns
- static code analysis
- BDD
- event modeling
- TDD
- architect / technical leader support
- Continuous Deployment
- Continuous Integration
- DevOps
- team-level deployment
- active monitoring
- documentation
- issue tracking tools
- NFR
- technical debt management
- integration tests
- test automation
- testing environments
- unit tests
Development opportunities we offer
- development budget
- external training
- industry-specific e-learning platforms
- mentoring
- soft skills training
- space for experimenting
- substantive support from technological leaders
- support of IT events
- technical knowledge exchange within the company
Benefits
- sharing the costs of sports activities
- private medical care
- sharing the costs of foreign language classes
- life insurance
- remote work opportunities
- flexible working time
- integration events
- computer available for private use
- no dress code
- christmas gifts
Recruitment stages
- Screening
- Tech interview
- Interview with a decision maker
BCF Software Sp. z o.o.
Bright Coders Factory – nasza nazwa mówi sama za siebie, a nasze oprogramowanie służy najlepszym przedsiębiorstwom na świecie. W BCF wierzymy, że innowacja rodzi się z pasji.
Jako software house zatrudniający ponad 200 programistów o różnym poziomie doświadczenia, umiemy wydobyć ukryty potencjał pracownika. W zależności od etapu Twojej kariery zajmiemy się znalezieniem możliwości, które będą jednocześnie wyzwaniem dla Ciebie i spełnieniem Twoich oczekiwań. Reszta należy do ciebie. Dołącz do nas!
Klikając w przycisk „Aplikuj” lub w inny sposób wysyłając zgłoszenie rekrutacyjne, zgadzasz się na przetwarzanie Twoich danych osobowych przez BCF Software Sp. z o.o. z siedzibą w: Technologiczna 2, 45-837 Opole (Pracodawca), jako administratora danych osobowych w celu przeprowadzenia rekrutacji na stanowisko wskazane w ogłoszeniu.
Twoje dane osobowe będą przetwarzane w oparciu o następujące podstawy prawne: (a) aby podjąć działania na Twoje żądanie przed zawarciem umowy (np. informacje o oczekiwanym wynagrodzeniu i dostępności do rozpoczęcia pracy); (b) w oparciu o nasz prawnie uzasadniony interes (np. imię, nazwisko, data urodzenia, dane kontaktowe, wykształcenie, kwalifikacje zawodowe, przebieg dotychczasowego zatrudnienia); c) w oparciu o Twoją zgodę, która wyrażona jest poprzez przeslanie dokumentów aplikacyjnych zawierających takie informacje jak np. wizerunek czy zainteresowania.
Podanie wszystkich danych osobowych, o których mowa powyżej jest dobrowolne, natomiast dane wymienione w lit. a) i b) są niezbędne do wzięcia udziału w rekrutacji. Niepodanie danych skutkuje brakiem możliwości rozpatrzenia kandydatury. Podanie pozostałych danych jest dobrowolne, ale może pomóc w sprawnym przeprowadzeniu procesu rekrutacji.
Masz prawo żądać dostępu do Twoich danych (w tym uzyskania ich kopii), sprostowania danych, ich usunięcia, ograniczenia przetwarzania, przeniesienia, jak również wniesienia sprzeciwu wobec ich przetwarzania. Masz także prawo wniesienia skargi do Prezesa Urzędu Ochrony Danych Osobowych.
Twoje dane osobowe mogą zostać przekazane dostawcom usługi publikacji ogłoszeń o pracę, dostawcom systemów do zarządzania rekrutacjami, dostawcom usług IT (hosting), dostawcom systemów informatycznych.
Podane przez Ciebie dane osobowe nie będą wykorzystywane w celu profilowania albo podejmowania decyzji w sposób zautomatyzowany.
Twoje dane osobowe będą przetwarzane przez okres maks. 1 roku od zakończenia publikacji ogłoszenia, chyba, że wyraziłeś odrębną zgodę na wykorzystanie Twoich danych osobowych w przyszłych rekrutacjach.
W celu realizacji praw lub w przypadku jakichkolwiek pytań związanych z przetwarzaniem Twoich danych osobowych skontaktuj się z nami pod adresem: contact@bcf-software.pl.
