Oracle risinājumu pielietojums Big Data kontekstā

Abstract

Maģistra darbā tika apskatīti un analizēti Oracle un citu ražotāju piedāvātie risinājumi Big Data apstrādei un analīzei. Darbs satur teorētisku dažādu ražotāju rīku apskati un salīdzinājumu, kā arī praktisko daļu, kurā tiek analizētas datu savienošanas iespējas hibrīdā datu noliktavā. Par hibrīdo datu noliktavu tiek uzskatīta tāda datu noliktava, kurā daļa datu atrodas RDBMS sistēmā un daļa datu HDFS sistēmā. Darba galvenie mērķi ir analizēt šāda veida sistēmas veiktspēju, izmantojot dažādus datu apvienošanas veidus. Testu laikā tika apskatīti apskatīti gadījumi, kad datu apvienošana notiek RDBMS sistēmas pusē un gadījumi, kad datu apvienošana notiek HDFS sistēmas pusē, kā arī tika izpētīta un analizēta Oracle Big Data SQL, Oracle SQL konektora priekš HDFS un Hive rīku veiktspēja atkarībā no datu selektivitātes un datu agregācijas izmantošanas.

Master thesis contains overview and analysis of Oracle and other vendor solutions for Big Data processing and analysing. Framework consists of theoretical part where different vendors tools have been compared and described, and experimental part where have been analysed solutions for data joining in hybrid data warehouse. Hybrid data warehouse is warehouse where part of the enterprise data is stored in RDBMS system and part of the date is stored in HDFS system. Main goals of this thesis is to analyse hybrid system performance by testing different data join types. Tests contained cases when data joining process has been performed on RDBMS side and case when data joining process has been performed on HDFS side. Dependence on data selectivity and aggregation usage has been analysed for Oracle Big Data SQL, Oracle SQL connector for HDFS and Hive tools.