Data Engineer (LLM project)
Miejsce pracy: Warszawa
Technologie, których używamy
Wymagane
- Python
- Snowflake
- SQL
- AWS
- Microsoft Azure
- Apache Airflow
- Git
O projekcie
Poszukujemy kandydatów na stanowisko Data Engineer. Praca jest dedykowana dla międzynarodowej firmy farmaceutycznej.
Data Engineer dołączy do zespołu ds. rozwoju rozwiązań AI, który będzie tworzył najnowocześniejsze aplikacje wykorzystujące duże modele językowe (LLM). Zespół będzie tworzyć kompleksowe rozwiązania AI: od koncepcji, przez prototypowanie, produkcję, po operacje. Inżynier danych będzie odpowiedzialny za projektowanie, budowę i utrzymanie solidnej infrastruktury danych w celu obsługi aplikacji AI.
Twój zakres obowiązków
- Współtworzenie aplikacji generatywnej AI: Współpraca z inżynierami AI, naukowcami zajmującymi się danymi, właścicielami produktów i innymi programistami
- Rozwój infrastruktury danych i integracja danych: Projektowanie i wdrażanie skalowalnych, wysokowydajnych pipelinów danych dla aplikacji AI/GenAI, zapewniających wydajne pobieranie, transformację, przechowywanie i pobieranie danych
- Integrowanie różnych baz danych, wymagające zrozumienia architektur danych / ekosystemu danych domenowych
- Zarządzanie bazą danych wektorową: Praca z bazami danych wektorowych (np. AWS OpenSearch lub Azure AI Search) w celu przechowywania i pobierania
- Inżynieria danych w chmurze: Tworzenie i utrzymywanie rozwiązania danych w chmurze przy użyciu AWS (OpenSearch, S3) lub Azure (Azure AI Search, Azure Blob Storage)
- Implementacja Snowflake: Projektowanie i optymalizowanie przechowywania i przetwarzania danych przy użyciu Snowflake w celu skalowalnych, natywnych dla chmury rozwiązań analitycznych
- Opracowanie pipelinów ETL/ELT
- Monitorowanie i konserwacja: Konfigurowanie monitorowania, alertów i rejestrowania dla pipelinów danych, zapewniając wysoką dostępność i niezawodność
Nasze wymagania
- Co najmniej 3 lata na podobnym stanowisku
- Znajomość Python, Snowflake, SQL/NoSQL i natywnych języków baz danych wektorowych
- Znajomość technologii chmurowych AWS lub Azure
- Doświadczenie w budowaniu skalowalnych przepływów pracy ETL/ELT przy użyciu dbt, Apache Airflow lub podobnych
- Umiejętność projektowania i integrowania interfejsów API RESTful w celu wymiany danych
- Znajomość Git, CI/CD
- Bardzo dobry angielski (min B2/C1)
Mile widziane
- Znajomość obszaru danych specyficznych dla AI i LLM
Tak organizujemy naszą pracę
Tak pracujemy
- u klienta
- koncentrujesz się na jednym projekcie
- masz wpływ na produkt
- koncentrujesz się na rozwoju produktu
- koncentrujesz się na utrzymaniu kodu
Tak pracujemy nad projektem
- wzorce projektowe
- Continuous Deployment
- Continuous Integration
- dokumentacja
To oferujemy
- 100% pracy zdalnej
- Praca w oparciu o kontrakt B2B
- Stawka (130-150) pln/h + VAT
ITP IT PERFORMANCE sp. z o.o.
Jako ITP IT Performance specjalizujemy się w outsourcingu, konsultingu i rekrutacji głównie w obszarze IT.
Klikając w przycisk „Aplikuj” lub w inny sposób wysyłając zgłoszenie rekrutacyjne, zgadzasz się na przetwarzanie Twoich danych osobowych przez ITP IT PERFORMANCE sp. z o.o. z siedzibą w: Długa 29, 00-238 Warszawa (Pracodawca), jako administratora danych osobowych w celu przeprowadzenia rekrutacji na stanowisko wskazane w ogłoszeniu.
Twoje dane osobowe będą przetwarzane w oparciu o następujące podstawy prawne: (a) aby podjąć działania na Twoje żądanie przed zawarciem umowy (np. informacje o oczekiwanym wynagrodzeniu i dostępności do rozpoczęcia pracy); (b) w oparciu o nasz prawnie uzasadniony interes (np. imię, nazwisko, data urodzenia, dane kontaktowe, wykształcenie, kwalifikacje zawodowe, przebieg dotychczasowego zatrudnienia); c) w oparciu o Twoją zgodę, która wyrażona jest poprzez przeslanie dokumentów aplikacyjnych zawierających takie informacje jak np. wizerunek czy zainteresowania.
Podanie wszystkich danych osobowych, o których mowa powyżej jest dobrowolne, natomiast dane wymienione w lit. a) i b) są niezbędne do wzięcia udziału w rekrutacji. Niepodanie danych skutkuje brakiem możliwości rozpatrzenia kandydatury. Podanie pozostałych danych jest dobrowolne, ale może pomóc w sprawnym przeprowadzeniu procesu rekrutacji.
Masz prawo żądać dostępu do Twoich danych (w tym uzyskania ich kopii), sprostowania danych, ich usunięcia, ograniczenia przetwarzania, przeniesienia, jak również wniesienia sprzeciwu wobec ich przetwarzania. Masz także prawo wniesienia skargi do Prezesa Urzędu Ochrony Danych Osobowych.
Twoje dane osobowe mogą zostać przekazane dostawcom usługi publikacji ogłoszeń o pracę, dostawcom systemów do zarządzania rekrutacjami, dostawcom usług IT (hosting), dostawcom systemów informatycznych.
Podane przez Ciebie dane osobowe nie będą wykorzystywane w celu profilowania albo podejmowania decyzji w sposób zautomatyzowany.
Twoje dane osobowe będą przetwarzane przez okres maks. 1 roku od zakończenia publikacji ogłoszenia, chyba, że wyraziłeś odrębną zgodę na wykorzystanie Twoich danych osobowych w przyszłych rekrutacjach.
W celu realizacji praw lub w przypadku jakichkolwiek pytań związanych z przetwarzaniem Twoich danych osobowych skontaktuj się z nami pod adresem: office@itperformance.pl.
