Izpildāmu modeļu lietojums datu kvalitātes novērtēšanai

Abstract

Maģistra darbā tiek apskatīta datu kvalitātes problēmas aktualitāte, kvalitātes novērtēšanas esošie risinājumi, to trūkumi un priekšrocības. Darbā tiek piedāvāta jauna pieeja datu kvalitātes problēmas risināšanai, kas tika izstrādāta, ņemot vērā esošo pieeju trūkumus. Piedāvātās pieejas galvenie aspekti ir datu objekts, kvalitātes prasības un process datu kvalitātes mērīšanai. To aprakstīšanai tiek piedāvātas trīs grafiskās domēnspecifiskās valodas, kuras ir pietiekami vienkāršas, lai tās varētu lietot ne-IT un datu kvalitātes speciālisti. Piedāvātā pieeja ļauj analizēt “ārējo” datu kopu kvalitāti, nodrošinot iespēju analizēt atvērtus datus, kuri kļūst arvien populārāki visā pasaulē, tajā skaitā arī Latvijā. Piedāvātā pieeja ir pielietota 11 datu kopām, atklājot tajās kvalitātes problēmas, tādejādi apliecinot piedāvātās pieejas priekšrocības.

The master’s thesis discusses data quality issue, its popularity and importance, exploring existing solutions for solving the data quality problem, their pros, and cons. It proposes a new data object-driven approach to evaluate data quality that was developed eliminating main cons of existing solutions. The main components of developed approach are data object, data quality requirements and the process of data quality measuring. These components are defined by three graphical domain-specific languages (DSLs) that are easy enough even for non-IT and non-data quality experts. Developed approach allows analysing quality of “foreign” data, ensuring open data analysis which nowadays becomes popular in Latvia and all around the world. The proposed solution is applied to 11 open data sets, detecting multiple data quality issues, thus demonstrating the advantages of the proposed approach.