Senior Data Engineer
Miejsce pracy: Warszawa
Technologies we use
Expected
- Python
- PostgreSQL
- Airflow
- Prefect
- Pandas
About the project
In this role, you will have the opportunity to specialize in leveraging artificial intelligence to optimize clinical and commercial workflows within the pharmaceutical, biotechnology, and life sciences industries. Youll be at the forefront of utilizing AI-driven insights into trial design, indication selection, competitive intelligence, and market landscaping. Your focus in this project will be on simplifying complex data into actionable intelligence, ultimately enhancing efficiency and effectiveness across these vital sectors.
Your responsibilities
- Design and build robust, scalable data pipelines to support AI models
- Ensure smooth data flow from various sources for analysis and deployment
- Utilize state-of-the-art techniques for processing diverse data types
- Oversee database management and optimization
- Focus on optimizing data storage, retrieval, and security
- Implement optimal data structuring techniques for vector retrieval and LLM behavior
Our requirements
- Extensive experience with Python programming language and with data engineering projects (around 7 years of commercial exp)
- Experience with data orchestration tools such as Airflow and Prefect
- Good familiarity with PostgreSQL
- Proficient in web scraping techniques
- Strong skills in data manipulation with Pandas library
- Understanding of parallelization techniques for efficient processing
- Knowledge of anti-botting measures for secure operations
- Proficiency in data orchestration tools for managing workflows effectively
- Strong skills in designing efficient database schemas
- Understanding of ensuring data integrity and reliability for robust systems
- Advanced English in speaking and writing (you will be working with international clients only)
Optional
- Experience with AI, LLM, and embeddings
- Familiarity with developing multimodal models
- Knowledge of database optimization techniques
- Full stack experience with NextJS/React
- Experience with Agile methodologies, particularly Scrum framework
This is how we organize our work
Development opportunities we offer
What we offer
- 24-28k on a B2B contract
- 100% remote work (but we have offices in Krakow and Warsaw and we’re happy to meet there from time to time )
- 1800 PLN per year for your self-development
- 1800 PLN per year for all of your home office needs
- Our B2B contract contains provisions that allow you to obtain IP BOX support
- Integration events, education opportunities and much more…
- A unique opportunity to take your career to the next level - we’re looking for people who want to create an impact. You have ideas, we want to hear them!
Benefits
- integration events
- corporate library
- employee referral program
- charity initiatives
- self-development budget
- bonus system
Recruitment stages
- Screening call (30 min)
- Technical interview (30-45 min)
- 1h client call
- Offer
The Codest
Hello World!
We are The Codest - an international software development company with successful product-based DNA, with tech hubs in Poland.
Our core values lie in “Customers and People First” approach that prioritises the needs of our customers and a collaborative environment for our employees, enabling us to deliver exceptional products and services.
Our expertise centers on web development, cloud engineering, DevOps and quality. After many years of developing our own product - Yieldbird, which was honored as a laureate of the prestigious Top25 Deloitte awards, we arrived at our mission: to help tech companies build impactful products and scale their IT teams through boosting IT delivery performance. Through our extensive experience with product development challenges, we have become experts in building digital products and scaling IT teams.
But our journey does not end here - we want to continue our growth. If you’re goal-driven and looking for new opportunities, join our team! What awaits you is an enriching and collaborative environment that fosters your growth at every step.
Klikając w przycisk „Aplikuj” lub w inny sposób wysyłając zgłoszenie rekrutacyjne, zgadzasz się na przetwarzanie Twoich danych osobowych przez Codest Ltd. z siedzibą w: Office 303B 182-184 High Street North, E6 2JA London (Pracodawca), jako administratora danych osobowych w celu przeprowadzenia rekrutacji na stanowisko wskazane w ogłoszeniu.
Twoje dane osobowe będą przetwarzane w oparciu o następujące podstawy prawne: (a) aby podjąć działania na Twoje żądanie przed zawarciem umowy (np. informacje o oczekiwanym wynagrodzeniu i dostępności do rozpoczęcia pracy); (b) w oparciu o nasz prawnie uzasadniony interes (np. imię, nazwisko, data urodzenia, dane kontaktowe, wykształcenie, kwalifikacje zawodowe, przebieg dotychczasowego zatrudnienia); c) w oparciu o Twoją zgodę, która wyrażona jest poprzez przeslanie dokumentów aplikacyjnych zawierających takie informacje jak np. wizerunek czy zainteresowania.
Podanie wszystkich danych osobowych, o których mowa powyżej jest dobrowolne, natomiast dane wymienione w lit. a) i b) są niezbędne do wzięcia udziału w rekrutacji. Niepodanie danych skutkuje brakiem możliwości rozpatrzenia kandydatury. Podanie pozostałych danych jest dobrowolne, ale może pomóc w sprawnym przeprowadzeniu procesu rekrutacji.
Masz prawo żądać dostępu do Twoich danych (w tym uzyskania ich kopii), sprostowania danych, ich usunięcia, ograniczenia przetwarzania, przeniesienia, jak również wniesienia sprzeciwu wobec ich przetwarzania. Masz także prawo wniesienia skargi do Prezesa Urzędu Ochrony Danych Osobowych.
Twoje dane osobowe mogą zostać przekazane dostawcom usługi publikacji ogłoszeń o pracę, dostawcom systemów do zarządzania rekrutacjami, dostawcom usług IT (hosting), dostawcom systemów informatycznych.
Podane przez Ciebie dane osobowe nie będą wykorzystywane w celu profilowania albo podejmowania decyzji w sposób zautomatyzowany.
Twoje dane osobowe będą przetwarzane przez okres maks. 1 roku od zakończenia publikacji ogłoszenia, chyba, że wyraziłeś odrębną zgodę na wykorzystanie Twoich danych osobowych w przyszłych rekrutacjach.
W celu realizacji praw lub w przypadku jakichkolwiek pytań związanych z przetwarzaniem Twoich danych osobowych skontaktuj się z nami pod adresem: jobs@thecodest.co.
