.
Regular Data Engineer (pySpark, Databricks, ML)
  • Warsaw
Regular Data Engineer (pySpark, Databricks, ML)
Warszawa, Warsaw, Masovian Voivodeship, Polska
SQUARE ONE RESOURCES sp. z o.o.
16. 10. 2025
Informacje o stanowisku

technologies-expected :


  • SQL
  • Python
  • Spark
  • PySpark
  • Databricks
  • Machine Learning

about-project :


  • Projekt dotyczy rozwoju danych symulacyjnych dla pojazdów autonomicznych (AV), obejmujących scenariusze takie jak wykrywanie przeszkód, planowanie trasy czy złożone sytuacje drogowe.
  • Osoba na tym stanowisku będzie pracować z danymi z czujników (8–12 kamer, LiDAR, radar) pochodzącymi z floty testowej AV, generującej do 1 TB danych na godzinę.

responsibilities :


  • Analiza duzych zbiorów rzeczywistych danych z czujników w celu identyfikacji przypadków brzegowych (np. gwaltowne hamowanie, pojazdy w poblizu).
  • Pisanie zlozonych zapytan SQL/Python/Spark (PySpark) w celu filtrowania, agregacji i transformacji danych szeregów czasowych.
  • Wspólpraca z wewnetrznymi narzedziami (interfejsy przegladarkowe i uslugi backendowe) do wyszukiwania danych i automatycznego etykietowania.
  • Przetwarzanie danych ustrukturyzowanych i czesciowo ustrukturyzowanych (np. tablice struktur z modeli wykrywania obiektów).
  • Wsparcie w identyfikacji danych wykorzystywanych w symulacjach AV i pipeline’ach treningowych ML.
  • Proaktywne proponowanie i weryfikowanie podejsc analitycznych usprawniajacych procesy eksploracji danych.
  • Projektowanie, implementacja i utrzymanie skryptów dla zaawansowanych technik eksploracji danych.
  • Budowa procesów ETL do zarzadzania i przetwarzania duzych zbiorów danych.
  • Rozwój i doskonalenie narzedzi do eksploracji danych i analityki w celu usprawnienia przeplywów pracy.

requirements-expected :


  • Minimum 3 lata doświadczenia w roli Data Engineer
  • Angielski: min. B2
  • SQL (zaawansowany)
  • Python (zaawansowany)
  • Spark / PySpark (zaawansowany)
  • Praktyczne doswiadczenie z Databricks
  • Zrozumienie przeplywów pracy ML (wykorzystanie danych do treningu)

  • Praca Warszawa
  • Warszawa - Oferty pracy w okolicznych lokalizacjach


    127 368
    25 049