Datu integrācija reālā laika datu noliktavā

Abstract

20. gadsimta beigās pasaulē strauji sāka pieaugt virtuālo datu apjomi. Tā kā informācijai ir vērtība, visu laiku tiek meklētas iespējas to iegūt un apstrādāt ātrāk, jo novecojot informācijai strauji zūd vērtība. Datu noliktavas allaž tika izmantotas lielu datu apjomu apkopošanai, bet galvenā viľu problēma bija nespēja apstrādāt tekošos datus. 21. gadsimts sakās ar mēģinājumiem dot iespēju datu noliktavām apstrādāt datus reālā laikā ar jauniem datu integrācijas risinājumiem. Bakalaura darba „Datu integrācija reālā laika datu noliktavā‖ mērķis ir izpētīt pieejas datu ieguvei un integrācijai. Tika veikti testi lai noskaidrot sinhronas un asinhronas datu ieguves ietekmi uz sistēmas darbību, ka arī datu integrācijas ātrdarbību izmantojot Oracle Streams tehnoloģiju. Balstoties uz rezultātiem tika vērtēta risinājumu atbilstība pielietošanai reāla laika datu noliktavā.

In the end of 20th century we saw a rapid growth of virtual data. As information has its value, but it rapidly declines with time, there are constant search for best way to collect and process it. Data warehouse always was was go-to technology when talked about processing large amounts of data, but main disadvantage of the technology is that it is not capable of processing real-time data. From the start of 21st century there is movement to enable real-time data warehouseing with help of new data integration technologies. This paper ―Data integration in real-time data warehouse‖ will aim to explore new solutions in data extraction and integration. Tests were performed to investigate synchronous and asynchronous data capture influences on source systems. Other test cases addressed performance of Oracle Streams. Based on the results there are suggestions made how those solutions can be used to enable real-time data warehouse.