Projekt koncentruje sie na wsparciu danych symulacyjnych dla rozwoju Pojazdów Autonomicznych (AV), w szczególnosci w obszarach takich jak wykrywanie przeszkód, planowanie trajektorii oraz zlozone sytuacje drogowe (np. nietypowe pojazdy, znaki drogowe w tunelach, przerwy w lacznosci sieciowej). Kandydat bedzie pracowac z danymi z czujników zbieranymi z floty testowej pojazdów autonomicznych, obejmujacymi 8–12 kamer, LiDAR oraz radar, generujacych do ok. 1 TB danych na godzine. Dobra znajomosc kontekstu AV oraz rzeczywistych przypadków brzegowych bedzie duzym atutem.

Data Engineer (k/m/*)

Twój zakres obowiązków

• Analiza duzych wolumenów rzeczywistych danych z czujników w celu identyfikacji przypadków brzegowych (np. gwaltowne hamowanie, pobliskie pojazdy).
• Pisanie zlozonych zapytan SQL/Python/Spark (PySpark) do filtrowania, agregacji i transformacji danych szeregów czasowych.
• Scisla wspólpraca z wewnetrznymi narzedziami (interfejsy GUI w przegladarce oraz uslugi backendowe) do wyszukiwania danych i automatycznego etykietowania.
• Przetwarzanie danych ustrukturyzowanych i pólustrukturyzowanych (np. tablice struktur z modeli detekcji obiektów).
• Pomoc w identyfikacji danych, które beda zasilac symulacje AV oraz pipeline’y treningowe ML.
• Proaktywne proponowanie i walidowanie podejsc analitycznych w celu usprawnienia procesów odkrywania danych.
• Projektowanie, implementacja i utrzymanie skryptów do zaawansowanych technik eksploracji danych.
• Budowa procesów ETL do zarzadzania i przetwarzania duzych zbiorów danych.
• Rozwój i ulepszanie narzedzi do eksploracji i analityki danych w celu usprawnienia workflowów.

Nasze wymagania

• SQL (zaawansowany)
• Python (zaawansowany)
• Spark / PySpark (zaawansowany)
• Ponad 3 lata doswiadczenia komercyjnego
• Praktyczne doswiadczenie z Databricks
• Zrozumienie workflowów ML (dane wykorzystywane do trenowania, ale nie jest to rola inzyniera ML)
• Wyksztalcenie wyzsze w dziedzinie informatyki