Workshop AI - Driven testing

Prvý deň sa účastníci oboznámia so základmi automatizovaného testovania pomocou nástroja Playwright a naučia sa, ako pomocou AI generovať a optimalizovať testovacie scenáre. Ďalej si osvoja prácu s nástrojmi Elastic a Kibana na zber dát a vizualizáciu testovacích výsledkov. Formou praktických cvičení si účastníci vyskúšajú tvorbu vlastných testov, dashboardov a jednoduché promptovanie AI nástrojov. Druhý deň sa zameriame na pokročilé techniky, ako je autonómne testovanie, hlbšia integrácia AI do QA procesov a správa modelov v prostredí CI/CD. Účastníci získajú prehľad o tom, ako efektívne využiť AI pri tvorbe, údržbe a vyhodnocovaní testov a ako prispôsobiť QA procesy novým možnostiam, ktoré AI prináša.

• Základy programovania (ideálne TypeScript/JavaScript pre Playwright).
• Základná skúsenosť s QA a testovacími frameworkami.
• Chuť vyskúšať si AI (napr. ChatGPT) a experimentovať s prompt engineeringom.

• Prostredie pre Playwright (Node.js, editor VS Code).
• Prístup k Elastic / Kibana inštancii (prípadne demo verzia / Docker).
• Odporúčaný testovací dataset alebo reálna ukážka na vyhodnocovanie testov.

Prvý deň je výrazne interaktívny. Viac cvičení s promptingom, tvorba a spúšťanie testov v Playwright, základný reporting a dashboardy v Kibane.
Druhý deň sa venuje pokročilejším technikám a konceptom (autonómne testy, architektúra AI-driven QA, pokročilý prompting, integrácia s CI/CD).

1. Deň

• Úvod do problematiky a interaktívny warm-up
• Využitie nástrojov na testovanie: Playwright v praxi
• Reporting a analýza testovacích výsledkov – Elastic, Kibana
• Spoločná diskusia a zhrnutie prvého dňa

2. Deň

• Generovanie a optimalizácia testovacích scenárov pomocou AI
• Autonómne testovanie
• Zapojenie do QA procesu, údržba a vývoj
• Záverečná rekapitulácia a Q&A
  

Úvod do problematiky a interaktívny warm-up

Predstavenie a ciele workshopu

Čo prináša AI do testovania a kde má najväčší prínos

Interaktívny prvok:

• Účastníci si môžu vyskúšať jednoduché prompty na generovanie alebo optimalizáciu testovacích krokov v reálnom čase.

Využitie nástrojov pre testovanie: Playwright v praxi – základné pojmy a technológie

Základné funkcie Playwright

• Stručný prehľad, čo nástroj dokáže (multiplatformné end-to-end testovanie).
• Čím sa líši od Selenium/WebDriver, v čom je silnejší.

Hands-on: tvorba testov v Playwright

• Vytvorenie jednoduchého testu (spustenie, vyhodnotenie).
• Príklad, ako AI (napr. ChatGPT s vhodným promptingom) môže pomôcť navrhnúť testovacie kroky.

Interaktívny prvok:

• Účastníci napíšu vlastný mini testovací scenár v Playwright, ktorý môžu následne rozšíriť.

Optimalizácia testov a udržiavanie testovacieho kódu

Reporting a analýza testovacích výsledkov – Elastic, Kibana, (čiastočne Grafana)

Zber dát a ich význam pre AI-driven testovanie

• Aké údaje je možné zbierať z testov, logov, aplikačných metrík.
• Využitie Elasticsearch na ukladanie a rýchle vyhľadávanie veľkého množstva testovacích záznamov.

Práca s Kibana a Grafana

• Kibana: tvorba základných dashboardov, vizualizácia výsledkov testov, vyhľadávanie anomálií.
• Grafana (čiastočne): príklad nastavenia monitoringu a notifikácií pri zlyhaniach.

Interaktívny prvok:

• Účastníci si vyskúšajú tvorbu jednoduchých dashboardov v Kibana, pridajú filtre a zobrazia štatistiky z testov nazbieraných počas cvičení s Playwright.

Prompting pre reporty a interpretáciu výsledkov

• Ako poskytnúť AI modelom správny prompt na tvorbu zrozumiteľných reportov.
• Ukážka automatického generovania krátkeho zhrnutia testovacieho behu v prirodzenom jazyku.

Spoločná diskusia a zhrnutie prvého dňa

• Rekapitulácia kľúčových bodov: prompting, Playwright, zber dát, základy reportingu v Kibana.
• Priestor pre otázky: čo účastníkom prišlo nejasné, čo sa im páčilo, čo by chceli prehĺbiť.
• Nastavenie očakávaní na druhý deň – pokročilejšie témy, autonómne testovanie, hlbšia integrácia AI.
• Možná záverečná aktivita: krátky kvíz alebo tímová súťaž na tému novo osvojených zručností.

Generovanie a optimalizácia testovacích scenárov pomocou AI

Prompt engineering pre tvorbu testov

• Detailné inštrukcie, ako zostaviť prompt tak, aby AI generovala rôzne varianty testov (negatívne testy, edge cases).
• Využitie metrík (coverage, rizikové oblasti) ako vstupu pre AI.

Pokročilejšia optimalizácia existujúcich testov

• Metódy, ako AI pomáha vyhľadávať redundantné alebo málo efektívne testy.
• Integrácia s CI/CD (GitLab, GitHub Actions, Jenkins) – kedy a ako spúšťať AI-driven generovanie testov.

Autonómne testovanie

Koncept autonómneho testovania

• „Samoučiaci“ test: čo to znamená, kde sú limity a prínosy.
• Ukážka nástrojov, ktoré sa týmto smerom uberajú (napr. Mabl, Test.ai).

Praktické ukážky a hands-on

Zapojenie do QA procesu, údržba a rozvoj

Nastavenie QA pipeline

• Ako zladiť AI-driven testy s tradičným QA procesom.
• Rola QA inžiniera v dobe AI: prompting, interpretácia výsledkov, dohľad nad AI modelmi.

Správa a údržba modelov

• Datová príprava a continuous learning.
• Monitoring kvality a výkonu AI modelov; identifikácia driftu vo vstupných dátach.

Záverečná rekapitulácia a Q&A

Zhrnutie hlavných poznatkov