QA & Performance Testing Engineering Lead (Automation) (m/k/n) Miejsce pracy: Wrocław Technologie, których używamy Wymagane pytest Postman Azure DevOps GitHub Actions Twój zakres obowiązków Projektowanie i wdrażanie architektury QA obejmującej testy: funkcjonalne, regresyjne, niefunkcjonalne, wydajnościowe oraz AI/LLM Definiowanie spójnej taksonomii testów (unit / integration / E2E / workflowy agentowe) Budowa i utrzymanie standaryzowanego, zautomatyzowanego frameworka testowego Integracja testów funkcjonalnych, regresyjnych, smoke i performance z CI/CD Projektowanie modeli obciążeniowych oraz automatycznych testów: peak, stress, resiliency, chaos Tworzenie i walidacja zestawów do ewaluacji modeli AI/LLM: halucynacje, grounding, spójność, poprawność, toksyczność Testowanie wieloetapowych workflowów agentów AI: poprawność łańcucha kroków, wywołań narzędzi i scenariuszy recovery Implementacja quality gates w pipeline’ach release’owych Budowa dashboardów jakości (pass rate, latency, error rate, metryki AI) Nasze wymagania Minimum 10 lat doświadczenia w QA i testach wydajnościowych systemów enterprise Doświadczenie w prowadzeniu QA w dużych organizacjach (Fortune 500 lub podobne) Znajomość architektury QA (functional, regression, non-functional, performance) Doświadczenie w automatyzacji testów i testach API (pytest, Postman) Praca z CI/CD: Azure DevOps, GitHub Actions Doświadczenie w testach load, stress, resiliency i chaos testing Znajomość metryk ewaluacji ML/LLM (BLEU, ROUGE, perplexity, hallucination, grounding) Doświadczenie z danymi syntetycznymi i wersjonowaniem datasetów Znajomość model registry, release gates i pipeline’ów promocji modeli Świadomość data lineage i governance (Purview, Unity Catalog) Doświadczenie w testowaniu workflowów agentów AI Doświadczenie w środowiskach regulowanych (audyt, traceability, compliance) Wszystkie informacje o przetwarzaniu danych osobowych w tej rekrutacji znajdziesz w formularzu aplikacyjnym, po kliknięciu w przycisk "Aplikuj Teraz".