Informacje o stanowisku
Jako backend developer dołączysz do zespołu rozwijającego platformę przetwarzającą ogromne ilości danych źródłowych w kompaktowe agregaty publikowane za pośrednictwem szybkich, nowoczesnych API.
Będziesz miał okazję pracować z najnowszym stackiem technologicznym w dojrzałym projekcie o bardzo dużej skali, w którym główny nacisk położony jest na niezawodność i wysoką wydajność tworzonych rozwiązań.
Wykorzystywanie narzędzia i technologie:
- Python (m.in. asyncio, FastAPI, Pydantic, typowanie, lintery);
- Google Cloud (m.in. BigQuery, Cloud SQL for Postgres);
- PostgreSQL (raw SQL, query builders);
- Docker, Kubernetes, Argo CD, Argo Workflows;
- Github;
- Sentry.
Przykładowe tematy:
- Stworzenie joba liczącego agregaty na podstawie surowych danych;
- Optymalizacja czasu wykonania i kosztów joba liczącego agregaty;
- Optymalizacja zużycia zasobów instancji PostgreSQL przez dobór parametrów konfiguracyjnych;
- Zbudowanie serwisu HTTP udostępniającego dane użytkownikom;
- Projektowanie rozwiązań do efektywnego przechowywania i zarządzania danymi w partycjonowanych tabelach PostgreSQL;
- Migracja na Capacity Based pricing BigQuery z modelu On Demand;
- Stworzenie dashboardu do obserwacji wydajności i kosztów utrzymywanych jobów;
- Migracja tabel z bazy danych on-premise do instancji na Cloud SQL;
- Stworzenie mechanizmu śledzenia zmian w tabelach z danymi źródłowymi;
- Stworzenie asynchronicznego klienta do BigQuery;
- Migracja serwisu z Flask na FastAPI;
- Optymalizacja zapytań do BigQuery poprzez użycie partycjonowanych tabel lub zmaterializowanych widoków.
W zamian oferujemy:
- Przyjazną atmosferę współpracy z jasno określonymi zadaniami, w zorganizowanym zespole profesjonalistów;
- Wyjątkowo elastyczne warunki współpracy;
- Dostęp do najnowocześniejszych technologii i możliwość realnego wykorzystywania ich w projekcie o dużej skali i wysokiej dynamice.
- Doświadczenie w programowaniu w języku Python, z wykorzystaniem nowoczesnych mechanizmów, m. in. asyncio, typing;
- Wiedza w zakresie programowania współbieżnego i asynchronicznego;
- Bardzo dobra znajomość SQL-owych baz danych (PostgreSQL, mile widziane BigQuery);
- Umiejętność projektowania i implementacji serwisów (HTTP, REST, mile widziane GraphQL);
- Znajomość zagadnień architektury systemów z naciskiem na wydajność i skalowalność;
- Doświadczenie w pracy na dużych zbiorach danych;
- Poczucie odpowiedzialności za dostarczane rozwiązania;
- Komunikatywność, umiejętność pracy w zespole.
Jako backend developer dołączysz do zespołu rozwijającego platformę przetwarzającą ogromne ilości danych źródłowych w kompaktowe agregaty publikowane za pośrednictwem szybkich, nowoczesnych API.
Będziesz miał okazję pracować z najnowszym stackiem technologicznym w dojrzałym projekcie o bardzo dużej skali, w którym główny nacisk położony jest na niezawodność i wysoką wydajność tworzonych rozwiązań.
Wykorzystywanie narzędzia i technologie:
- Python (m.in. asyncio, FastAPI, Pydantic, typowanie, lintery);
- Google Cloud (m.in. BigQuery, Cloud SQL for Postgres);
- PostgreSQL (raw SQL, query builders);
- Docker, Kubernetes, Argo CD, Argo Workflows;
- Github;
- Sentry.
Przykładowe tematy:
- Stworzenie joba liczącego agregaty na podstawie surowych danych;
- Optymalizacja czasu wykonania i kosztów joba liczącego agregaty;
- Optymalizacja zużycia zasobów instancji PostgreSQL przez dobór parametrów konfiguracyjnych;
- Zbudowanie serwisu HTTP udostępniającego dane użytkownikom;
- Projektowanie rozwiązań do efektywnego przechowywania i zarządzania danymi w partycjonowanych tabelach PostgreSQL;
- Migracja na Capacity Based pricing BigQuery z modelu On Demand;
- Stworzenie dashboardu do obserwacji wydajności i kosztów utrzymywanych jobów;
- Migracja tabel z bazy danych on-premise do instancji na Cloud SQL;
- Stworzenie mechanizmu śledzenia zmian w tabelach z danymi źródłowymi;
- Stworzenie asynchronicznego klienta do BigQuery;
- Migracja serwisu z Flask na FastAPI;
- Optymalizacja zapytań do BigQuery poprzez użycie partycjonowanych tabel lub zmaterializowanych widoków.
W zamian oferujemy:
- Przyjazną atmosferę współpracy z jasno określonymi zadaniami, w zorganizowanym zespole profesjonalistów;
- Wyjątkowo elastyczne warunki współpracy;
- Dostęp do najnowocześniejszych technologii i możliwość realnego wykorzystywania ich w projekcie o dużej skali i wysokiej dynamice.
,[Projektowanie i implementacja wydajnych procesów do przetwarzania i agregowania dużych zbiorów danych;, Implementacja i utrzymanie rozwiązań do udostępniania przeliczonych statystyk innym systemom i użytkownikom wewnętrznym;, Modernizacja i optymalizacja istniejących systemów w odpowiedzi na ciągle zwiększającą się skalę;, Zapewnienie niezawodności i skalowalności budowanych rozwiązań;, Tworzenie wysokiej jakości kodu adresującego potrzeby biznesowe;, Współpraca z innymi zespołami przy budowaniu komponentów rozproszonego systemu;, Udział w budowaniu kultury technicznej opartej na dbałości o jakość tworzonych rozwiązań. Requirements: Python, Git, Linux, Docker, SQL, Django, Celery, Redis, PostgreSQL, Google cloud platform, BigQuery, HTTP, REST API, GraphQL, CI Tools: Trello, DokuWiki, Yes, Flake8, mypy, GIT, Jenkins, Agile, Kanban. Additionally: Small teams, International projects, Flat structure, Team events, In-house trainings, Bike parking, Shower, No dress code.
Praca WarszawaWarszawa - Oferty pracy w okolicznych lokalizacjach