12. diel - Manažment rizík

V predchádzajúcej lekcii, Manažment testovania, sme sa detailnejšie zamerali na plánovanie testovania, prešli sme si prínos testerov pri plánovaní iterácií a vstupné aj výstupné kritériá. Ukázali sme si techniky na odhadovanie, nevynechali sme ani prioritizáciu testovacích prípadov a nakoniec sme prebrali testovaciu pyramídu a kvadranty.

V dnešnej lekcii o manažmente rizík sa detailnejšie zameriame na definíciu rizika a jeho atribúty, rozlíšime si projektové a produktové riziká a tiež si ukážeme, čo je to analýza a riadenie produktových rizík. V druhej časti sa zameriame na metriky používané v testovaní a tiež na účel, obsah a cieľové skupiny reportov z testovania.

Manažment rizík

Organizácia čelí rôznym interným aj externým faktorom, ktoré môžu ovplyvniť ich schopnosť dosiahnuť ciele. Manažment rizík pomáha zvýšiť pravdepodobnosť úspechu, zlepšiť kvalitu produktov a posilniť dôveru zainteresovaných strán. Kľúčové činnosti v manažmente rizík zahŕňajú analýzu a riadenie rizík.

Testovanie založené na rizikách je prístup, pri ktorom sú testovacie činnosti vyberané, prioritizované a spravované na základe výsledkov analýzy a riadenia rizík.

Praktický príklad

Predstavme si tím, ktorý vyvíja bankovú aplikáciu na správu účtov a prevod peňazí.

Tím identifikuje kľúčové riziká, ktoré by mohli ovplyvniť fungovanie aplikácie. Medzi hlavné riziká patria:

• Riziko nesprávneho výpočtu zostatku na účte.
• Riziko zlyhania pri spracovaní medzinárodných prevodov.
• Riziko úniku citlivých dát pri nešifrovanej komunikácii.

Na základe týchto rizík tím rozhodne, že najvyššiu prioritu bude mať testovanie funkcií súvisiacich s výpočtami zostatkov a spracovaním medzinárodných prevodov. Tieto funkcie sú kritické, pretože akákoľvek chyba by mohla mať závažné dopady na zákazníkov aj banku. Tím sa zameria na písanie a vykonávanie testovacích scenárov, ktoré overia správnosť výpočtov zostatkov a fungovanie medzinárodných prevodov v rôznych scenároch. Funkcie, ktoré predstavujú nižšie riziko, ako napríklad zobrazenie histórie transakcií, budú testované v neskoršej fáze vývoja s nižšou prioritou.

Definícia rizika a jeho atribúty

Riziko je potenciálna udalosť, hrozba alebo situácia, ktorej výskyt môže mať nepriaznivé dôsledky. Riziko je charakterizované dvoma hlavnými faktormi:

• pravdepodobnosť rizika – pravdepodobnosť, že riziko nastane, vyjadrená v percentách alebo ako hodnota medzi 0 a 1,
• vplyv rizika – dôsledky, ktoré výskyt rizika spôsobí.

Kombinácia týchto dvoch faktorov určuje úroveň rizika. Čím vyššia úroveň rizika je, tým naliehavejšia je potreba jeho ošetrenia.

Projektové a produktové riziká

Pri testovaní softvéru sa obvykle rozlišujú projektové a produktové riziká. Projektové riziká sa týkajú manažmentu a riadenia projektu. Tieto riziká môžu ovplyvniť harmonogram, rozpočet alebo rozsah projektu, a tým ohroziť dosiahnutie projektových cieľov:

Produktové riziká sa týkajú kvalitatívnych charakteristík softvérového produktu:

Produktové riziká môžu mať rôzne negatívne dôsledky, ako napr. nespokojnosť užívateľov, stratu príjmov, dôvery, povesti, môže ísť aj o škody spôsobené tretím stranám, vysoké náklady na údržbu, preťaženie helpdesku, trestnoprávne postihy, fyzické poškodenie, zranenie a v extrémnych prípadoch aj smrť.

Analýza produktových rizík

Cieľom analýzy produktových rizík v testovaní je identifikovať a minimalizovať riziká spojené s kvalitou produktu. Táto analýza začína ideálne v ranej fáze SDLC a skladá sa z identifikácie a ohodnotenia rizík.

Identifikácia rizík zahŕňa vytvorenie komplexného zoznamu rizík, čo môžu vykonávať všetky zainteresované strany pomocou techník ako brainstorming, workshopy, rozhovory alebo grafy príčin a následkov. Napríklad pri vývoji platobnej brány môže tím identifikovať riziko zlyhania transakcií pri veľkom objeme užívateľov počas špičky.

Ohodnotenie rizík zahŕňa kategorizáciu rizík, určenie ich pravdepodobnosti, vplyvu a úrovne, stanovenie priorít a navrhnutie spôsobov riešenia. Riziká možno hodnotiť kvantitatívne (úroveň rizika ako násobok pravdepodobnosti a dopadu) alebo kvalitatívne (pomocou matice rizík). Tím napríklad odhaduje, že pravdepodobnosť zlyhania transakcií je vysoká a vplyv na používateľov by bol kritický, preto toto riziko zaradí medzi najvyššie priority na riešenie, napríklad zavedením záťažových testov.

Výsledky analýzy ovplyvňujú rozsah a dôkladnosť testovania. Používajú sa na:

• Určenie rozsahu testovania, ktoré má byť vykonané.
• Určenie konkrétnych úrovní testovania a návrhu typov testov, ktoré majú byť vykonané.
• Určenie techník testovania, ktoré majú byť použité.
• Určenie pokrytia, ktoré sa má dosiahnuť.
• Odhadu prácnosti testovania vyžadovaného pre každú úlohu.
• Stanovenie priorít testovania s cieľom čo najrýchlejšieho nachádzania kritických defektov.
• Určenie, či by sa na zníženie rizika mohli použiť aj iné činnosti.

Riadenie produktových rizík

Riadenie produktových rizík zahŕňa opatrenia, ktoré reagujú na identifikované a ohodnotené riziká. Skladá sa z dvoch hlavných častí – zmierňovania rizík a monitoringu rizík.

Zmierňovanie rizík zahŕňa zavedenie opatrení navrhnutých pri analýze rizík s cieľom znížiť ich úroveň. Na riziká je možné reagovať rôznymi spôsobmi, ako je zmiernenie rizika testovaním, jeho prijatie, prenesenie alebo príprava záložného plánu. Opatrenia zahŕňajú:

• výber testerov so špecifickými skúsenosťami pre dané riziko,
• použitie nezávislého testovania,
• vykonanie revízií a statickej analýzy,
• použitie vhodných testovacích techník a úrovní pokrytia,
• zameranie na príslušné typy testov podľa kvalitatívnych charakteristík,
• dynamické testovanie, vrátane regression testingu.

Monitoring rizík slúži na overovanie účinnosti zmierňujúcich opatrení, poskytovanie ďalších informácií pre zlepšenie hodnotenia rizík a identifikáciu novo vznikajúcich rizík.

Monitoring, control a test closure

Test monitoring sa zameriava na zhromažďovanie informácií o priebehu testovania. Tieto informácie slúžia na vyhodnotenie postupu a overenie, či boli splnené výstupné kritériá alebo dokončené testovacie úlohy.

Riadenie testovania využíva dáta z monitoringu na vykonávanie potrebných opatrení a pokynov s cieľom optimalizovať efektivitu testovania:

Test closure zahŕňa konsolidáciu dát z dokončených testovacích aktivít, vrátane skúseností, testvéru a dôležitých informácií. K tejto fáze dochádza pri projektových míľnikoch, ako je dokončenie úrovne testovania, iterácia testovacieho projektu alebo vydanie softvéru.

Praktický príklad

Predstavme si, že tím testuje novú funkciu mobilnej aplikácie na správu osobných financií, konkrétne funkciu automatických platieb. Tím sleduje priebeh testovania funkcie automatických platieb a zhromažďuje dáta o počte vykonaných testov, počte nájdených chýb a o pokrytí testovacích scenárov. Na základe týchto informácií zistí, že stále zostáva otestovať niekoľko kritických scenárov. Vzhľadom na novo objavené chyby v oblasti zrušenia platby vedúci testovania rozhodne o prehodnotení priorít. Testom na zrušenie platieb je prisúdená vyššia priorita a harmonogram testovania je upravený, aby tím zaistil, že tieto kritické scenáre budú dôkladne otestované. Po dokončení všetkých testovacích scenárov je testovanie tejto funkcie uzavreté. Tím konsoliduje dáta o počte test casov, nájdených a opravených chybách a o dosiahnutom pokrytí testov. Tieto informácie sú zaznamenané a zdieľané s ostatnými členmi tímu ako spätná väzba pre budúce testovacie cykly.

Metriky používané v testovaní

Testovacie metriky sa zhromažďujú za účelom sledovania postupu testovania, kvality produktu a efektivity testovacích činností:

Tieto metriky podporujú monitoring a riadenie testovania a pomáhajú pri dosiahnutí cieľov projektu alebo iterácie. Medzi bežné testovacie metriky patria:

• Metriky o postupe projektu – Ukazujú napríklad dokončenie úloh, využitie zdrojov či prácnosť testovania. Tím napr. sleduje, že bolo dokončených 75 % plánovaných testovacích úloh v aktuálnej iterácii.
• Metriky o postupe testovania – Zahŕňajú postup implementácie test casov, stav testovacích prostredí, počet spustených/nes­pustených testov, počet testov, ktoré prešli/zlyhali, dobu vykonania testu. Napríklad sa zaznamenáva, že bolo spustených 120 zo 150 test casov, pričom 90 z nich prešlo.
• Metriky kvality produktu – Patrí sem napríklad dostupnosť systému, doba odozvy, stredná doba medzi poruchami. Napríklad sa meria, že priemerná doba odozvy systému je 1,5 sekundy.
• Metriky nad defektmi – Určujú počet a prioritu zistených/opra­vených defektov, hustotu defektov, percento detekcie defektov. V aktuálnom šprinte bolo napríklad nájdených a opravených 20 defektov s vysokou prioritou.
• Metriky nad rizikami – Sledujú úroveň reziduálnych rizík. Napríklad po záťažovom testovaní zostávajú dve stredne závažné riziká, ktoré si vyžadujú ďalšiu pozornosť.
• Metriky pokrytia – Ukazujú mieru pokrytia požiadaviek či kódu. Napríklad miera pokrytia požiadaviek testovaním je 85%, čo znamená, že väčšina požiadaviek bola otestovaná.
• Metriky nákladov – Zobrazujú náklady na testovanie alebo náklady na kvalitu v rámci organizácie. Tým treba odhaduje, že doterajšie náklady na testovanie predstavujú 15 % z celkového rozpočtu projektu.

Tieto metriky poskytujú informácie pre rozhodovanie a zlepšenie procesu testovania a kvality produktu.

Účel, obsah a cieľové skupiny reportov z testovania

Účelom reportov z testovania je poskytovať prehľadné informácie o postupe testovania a jeho výsledkoch počas aj po skončení testovacej fázy. Reporty o postupe prác pomáhajú riadiť testovanie a umožňujú vykonávať úpravy v harmonograme, zdrojoch alebo plánoch, ak sú potrebné zmeny. Súhrnné reporty z testovania potom poskytujú prehľad o ukončenej fáze testovania a môžu slúžiť ako podklad pre ďalšie fázy.

Reporty o postupe prác

Počas monitoringu a riadenia testovania vytvára testovací tím reporty o postupe prác s cieľom poskytovať zainteresovaným stranám informácie. Tieto reporty sú vytvárané pravidelne a obvykle obsahujú:

• testovacie obdobie,
• postup prác vrátane odchýlok,
• prekážky a ich riešenie,
• testovacie metriky,
• nové a zmenené riziká počas testovacieho obdobia,
• testovanie plánované pre nasledujúce obdobie.

Súhrnný report z testovania

Súhrnný report z testovania sa pripravuje v priebehu fázy dokončenia testovania, kedy sú projekt, úroveň testovania alebo typ testu ukončené a kedy sú splnené stanovené výstupné kritériá. Tento report využíva informácie z čiastkových reportov o postupe prác a dopĺňa ich o ďalšie dáta. Typické súhrnné reporty z testovania obsahujú:

• zhrnutie testov,
• vyhodnotenie testovania a kvality produktu,
• odchýlky od test plánu,
• prekážky a ich riešenie,
• testovacie metriky,
• neošetrené riziká a nevyriešené defekty,
• ponaučenie relevantné pre testovanie.

Obsah, početnosť či formálnosť reportov ovplyvňujú cieľové skupiny. Správy vo vnútri tímu bývajú časté a neformálne, zatiaľ čo súhrnné reporty sú formálne, štruktúrované obvykle podľa vopred definovanej šablóny a podávajú sa raz na konci projektu alebo fázy. Šablóny reportov je možné nájsť napríklad v norme ISO/IEC/IEEE 29119-3.

Komunikovanie stavu testovania

Optimálny spôsob komunikácie o stave testovania závisí na potrebách manažmentu, stratégii testovania, regulačných požiadavkách alebo spôsobe organizácie tímu.

Existuje niekoľko metód komunikácie, ktoré môžu byť použité samostatne alebo v kombinácii:

• verbálna komunikácia s členmi tímu či ďalšími zainteresovanými stranami,
• dashboardy pre vizualizáciu stavu testovania,
• elektronické komunikačné kanály,
• online dokumentácia prístupná všetkým členom tímu,
• formálne reporty z testovania pre manažment alebo regulátory.

Formálnejšia komunikácia je často nevyhnutná pre distribuované tímy, kde osobné stretnutie nie je vždy možné kvôli geografickej vzdialenosti alebo časovým rozdielom. Rôzne zainteresované strany môžu vyžadovať odlišné typy informácií, takže je dôležité prispôsobiť štýl a obsah komunikácie ich potrebám.

Zdrojom tejto lekcie sú Učebné osnovy – Certifikovaný tester základnej úrovne ver. 4.0. Copyright © 2023 autori verzie 4.0: Renzo Cerquozzi, Wim Decoutere, Klaudia Dussa-Zieger, Jean-François Riverin, Arnika Hryszko, Martin Klonk, Michaël Pilaeten, Meile Posthuma, Stuart Reid, Eric Riou du Cosquer (predseda), Adam Roman, Lucjan Stapp, Stephanie Ulrich (podpredseda), Eshraka Zakaria

V budúcej lekcii, Testovacie nástroje, si ukážeme, čo je to konfiguračný manažment a manažment defektov. Vysvetlíme si, ako rôzne typy testovacích nástrojov podporujú testovanie, a ukážeme si výhody aj riziká automatizácie testov.