Regresijas testu izveides automatizācijas iespējas

Abstract

Lai arī regresijas testu izpildes automatizācija tiek plaši lietota, labas izpildāmās testu kopas automātiska izveide var prasīt formālu prasību specifikāciju un sarežģītu pirmkoda analīzi. Darbā tiek piedāvāta vienkāršāka metode testu kopas izveidei, kas koncentrējas nevis uz pēc iespējas pilnīgas testu kopas izveidi, bet gan uz regresa atklāšanu sistēmas funkcionalitātes reālā lietojumā. Testpiemēri tiek veidoti, uzkrājot datus par sistēmas darbību tās lietošanas laikā, lai simulētu šo lietojumu vēlāk tā rezultātu nemainības pārbaudei. Tiek apskatīti gan iespējamie uzkrājamie dati, gan iespējas tos efektīvi izmantot. Izstrādāts testēšanas rīks šīs metodes praktiskās pielietojamības pārbaudei, un analizēta tā darbība aktīvi lietotā sistēmā. Netiek novēroti kritiski metodes trūkumi, tāpēc apskatīti rīka iespējamie uzlabošanas virzieni.

Although automated regression testing is being used frequently, automatically creating a good test suite might demand formal requirements specifications and a complex source code analysis. In this work, a simpler method is proposed, which, as opposed to focusing on creating a thorough test suite, focuses on finding regressions in the real usage of the system functionality. Test cases are created by storing data of the system operations during its usage, to simulate this usage later for the verification of the consistency of its results. Possible types of stored data are reviewed, as well as the possibilities to use them effectively. A testing tool is created to verify the practical usability of this method, and its operation in an actively used system is analyzed. No critical flaws are detected in this method, so possible improvements of the tool are proposed.