St. programista / programistka Big Data

74_4446806

Obowiązki

• projektowanie architektury i wdrażanie nowoczesnych systemów przetwarzania danych w obszarze Big Data. Systemy mogą również obejmować elementy analityki strumieniowej i uczenia maszynowego
• dbanie o wysoką jakość procesu rozwojowo-wdrożeniowego
• dbanie o wysoką jakość dokumentacji technicznej
• poszukiwanie nowych rozwiązań oraz ich implementację (R&D) 
• współpraca z innymi zespołami w celu wsparcia developmentu 

Wymagania

• masz min. 5 lata komercyjnego doświadczenia w programowaniu w Spark procesów batch/streaming w Python  
• masz doświadczenie w projektowaniu architektury rozwiązań 
• posiadasz wiedzę z zakresu Big Data, Hurtowni Danych i Zarządzania Danymi  
• znasz platformę Hadoop Cloudera/Hortonworks 
• posiadasz wiedzę z zakresu dobrych praktyk przetwarzania dużych zbiorów danych, w tym standardów projektowania, kodowania, dokumentowania, testowania i wdrażania 
• znasz technologie i narzędzia strumieniowe takie jak Kafka, Apache Nifi 
• masz doświadczenie z różnymi formatami danych: JSON, PARQUET, ORC, AVRO 
• posiadasz zrozumienie typów baz danych i scenariuszy użycia, np. hive, kudu, hbase, Iceberg itp.
• znasz język SQL na poziomie zaawansowanym 
• masz doświadczenie w integracji danych z wielu źródeł 

Oferujemy

• praktyczna znajomość procesów i narzędzi Agile: Jira, Confluence, Kanban, Scrum itp. 
• praktyczna wiedza w zakresie automatyzacji CI/CD 

Źródło: Mbank/Praca