Neviendabīgu integrētu datu avotu evolūcijas apstrāde

Abstract

Neviendabīgu integrētu datu avotu evolūcija ir kļuvusi par aktuālu problēmu, jo dati mūsdienās ir ļoti daudzveidīgi un to mainība ir dinamiska. Šī iemesla dēļ nepieciešams atrast veidus, kā datus no dažādiem datu avotiem maksimāli efektīvi apkopot un uzkrāt, apstrādājot arī datu struktūrās evolūcijas rezultātā radušās izmaiņas. Darba mērķis ir atrast risinājumu, kā apstrādāt neviendabīgu integrētu datu avotu evolūcijas rezultātā radušās izmaiņas un adaptēt tās sistēmā. Darbā veikta literatūras analīze par datu noliktavām, ETL procesiem un lielajiem datiem, kā arī izpētīta esoša datu avotu evolūcijas sistēma. Rezultātā piedāvāts risinājums - neviendabīgu integrētu datu avotu evolūcijas apstrādes mehānisms datu bāzes struktūras un procedūru formā, kas paredzēts datu avotu izmaiņu adaptācijai esošajā sistēmā.

The evolution of heterogeneous integrated data sources has become a topical issue, as data today is very diverse and dynamic. For this reason, it is necessary to find ways to collect and store data from different data sources as efficiently as possible, while also processing the changes in data structures that have occurred as a result of data source evolution. The aim of the thesis is to find a solution to process the changes caused by the evolution of integrated heterogeneous data sources and to adapt them into the system. The analysis of the literature on data warehouses, ETL processes and big data is performed in the paper, as well as the existing system of data source evolution is studied. As a result, a solution is proposed - a mechanism for processing the evolution of integrated heterogeneous data sources in the form of a database structure and procedures for adapting changes to data sources in the existing system.