Datu noliktavas adaptācija pēc datu avotu izmaiņām

Abstract

Darbā galvenokārt ir apskatītas izmaiņas datu noliktavas datu avotos, kas var padarīt esošas datu noliktavas shēmas un datu atjaunināšanas procesus kļūdainus. Vairākās situācijās eksistējošo datu noliktavu var pielāgot izmaiņām, bieži pat automātiski bez izstrādātāja dalības. Darbā tiek aplūkotas problēmas, saistītas ar datu avotu struktūras izmaiņu automātisku noteikšanu un ETL procesu automātisku adaptāciju saskaņā ar notikušajām izmaiņām. Tiek aplūkotas datu avotu izmaiņas, kas ietver avota relāciju pievienošanu, dzēšanu un nosaukuma maiņu, avota atribūtu pievienošanu, dzēšanu, nosaukuma un datu tipa maiņu. Tiek arī aplūkots izmaiņu repozitorijs, kurā tiks uzkrātas datu noliktavas shēmas izmaiņu alternatīvas, no kurām izstrādātājs izvēlas piemērotāko saskaņā ar biznesa prasībām. Prototips datu noliktavas adaptācijas sistēmai realizēts e-universitātes datu noliktavā.

In this paper the changes in data sources are mainly discussed. These changes can invalidate existing schemata and data extraction, transformation and loading processes of the data warehouse. The focus of this paper is to automatically determine the changes in schemata of the data sources and adapt ETL processes to reflect these changes. The considered changes include insertion, deletion and renaming of a source relation, insertion, deletion, renaming and change of a type of a source relation attribute. The proposed solution also maintains the repository, where the alternative changes of the data warehouse schema are accumulated and the data warehouse administrator chooses the most suitable changes from the repository according to the business requirements. The prototype of the data warehouse adaptation system is applied to the e-university data warehouse.