Sarežģītību ietekmēta programmatūras testēšana

Abstract

Promocijas darbs ir veltīts programmatūras testēšanas metodoloģisko, tehnoloģisko un organizatorisko aspektu izpētei ar mērķi nodrošināt uzticamas programmatūras izveidi, akcentējot sarežģītības ietekmi uz programmatūras testēšanas procesiem. Pētījuma rezultātā tiek piedāvāts reorganizēt testēšanas procesus, pielietojot tajos daudzaģentu un komplekso sistēmu darbības principus. Darbā testēšanas tehnoloģisko aspektu jomā aplūkots vērtību apgabalu testēšanas modelis un novērtēta testēšanas sarežģītība kā izpildāmo testu skaits dažādiem ekvivalences klašu un robežvērtību testēšanas jeb domēntestēšanas kritērijiem. Identificētas tradicionālās testēšanas, kas balstīta uz vērtību apgabalu testēšanas modeļiem, galvenā problēma – tehnoloģiskā sarežģītība, kas praktiskos lietojumos padara neiespējamu šo testēšanas modeļu lietošanu. Darbā tiek piedāvātas 2 oriģinālas idejas testēšanas organizatoriskās struktūras uzlabošanai, kas ļauj vismaz daļēji pārvarēt testēšanas tehnoloģisko sarežģītību: 1. Uztvert testēšanas sistēmu - cilvēku, tehnikas un materiālu organizētu sakopojumu, kas nepieciešams, lai izpildītu ieinteresēto pušu dotos testēšanas uzdevumus dotajā laikā un ar dotajiem resursiem - kā kompleksu sistēmu un, izmantojot kompleksu sistēmu darbības principus, ar adekvātu testēšanas organizatorisko struktūru un procesu pārvaldību pārvarēt testēšanas tehnoloģisko sarežģītību. Papildus šai oriģinālajai pieejai, pamatojoties uz komplekso sistēmu darbības principiem, darbā izstrādāti metodiski ieteikumi testēšanas procesu pārvaldībai. 2. Piedāvāts testēšanas teorijā oriģināls modelis (SUP modelis) testēšanas efektivitātes paaugstināšanai, kuru raksturo nepieciešamība ņemt vērā sistēmu izstrādē iesaistīto dalībnieku atšķirīgu skatījumu uz veidojamo sistēmu. Šis modelis pierāda ne-IT speciālistu iesaistīšanas testēšanā nepieciešamību. Tiek piedāvāts programmatūras testēšanas procesos pielietot daudzaģentu sistēmas organizatoriskos principus, kas, iesaistot galalietotājus sistēmas izstrādē un testēšanā, ļauj samazināt testēšanas sarežģītību un palīdz risināt testētāju kvalifikācijas problēmas. Darbā aprakstītie principi pārbaudīti vairākos praktiskos testēšanas projektos, kas apliecina piedāvātās pieejas lietderību. Darba rezultāti ir publicēti 8 publikācijās ( 3 no tām ir indeksētas ISI Web of Knowledge, bet 2 - indeksētas Scopus ).

The focus of this thesis is on an examination of the methodological, technological and organisational aspects of software testing, the aim being to ensure the trustworthy software development, particularly emphasising the effects of complexity on software testing processes. The result of the research is a proposal on how to reorganise testing processes by utilising the principles of the operations of multi-agent and complex systems. The technological aspects of testing are discussed in the thesis in terms of a testing model related to areas of values, also evaluating the complexity of testing as a number of testcases to be conducted according to criteria of various equivalence class and boundary value testing methods. The author has identified the main problem of traditional testing that is based on testing models related to categories of values –technological complexity which makes it impossible to use these testing models in practical terms. The author has offered two original ideas as to how the organisational structure of testing can be improved in order to at least partly make it possible to overcome the technological complexity of testing: 1. Perceiving testing system – organized collection of persons, hardware and materials that are necessary in order accomplish tasks given by stakeholders in given time and with given resources - as a complex system and utilising the principles of operations of complex systems and an adequate organisational structure and management of the processes of testing system so as to overcome the technological complexity of the process. In addition to this original approach, the author has also prepared methodological recommendations for the management of testing processes, doing so on the basis of the principles of operations of complex systems. 2. An original model (an SUP model) in testing theory is proposed and aimed at improving the effectiveness of testing. This involves the necessity to take into account the different views of people who have been involved in the development of software systems as to the work that has been done. This model demonstrates the need to involve non-IT specialists in the testing process. The author has proposed that the organisational principles of multi-agent systems be brought to bear in software testing processes. By bringing end users into the development and testing the system, it becomes possible to reduce the complexity of the testing and also to address problems related to the qualifications of testers. The principles that are described in the thesis have been tested in several practical testing projects so as to justify the utility of the proposed approach. The results of the work have been published in eight papers (three of which are included in the ISI).