ETL procesu risinājumi lielo datu gadījumos

Abstract

Lielo datu milzīgais apjoms un tā straujais pieaugums liek meklēt jaunas un attīstīt esošās tehnoloģijas datu apstrādē, jo tradicionālie ETL jeb datu izgūšanas, transformācijas un ielādes rīki nespēj apstrādāt tādu apjomu. Darba mērķis ir izpētīt ETL procesu galvenās iezīmes un pieejamos risinājumus lielo datu apstrādē. Rezultātā tika aplūkoti galvenie izaicinājumi un sarežģījumi lielo datu apstrādē un apskatīti risinājumi ETL procesu veikšanai liela apjoma datiem. Darba izstrādes laikā tika veikta lietojuma gadījuma realizācija, lai novērtētu tradicionālā ETL rīka Pentaho Kettle iespējas un piemērotību liela apjoma datu apstrādei.

The massive volume and rapid growth of Big data require seeking new and developing existing technologies in data processing, because traditional ETL (Extraction, Transformation, Load) tools cannot process such amount of data. The goal of this thesis is to investigate main characteristics of ETL processes and available solutions for processing Big data. In this thesis main challenges and difficulties in processing Big data were explored and solutions for ETL processes for large amount of data were investigated. During the research, use case was examined to evaluate traditional ETL tool Pentaho Kettle options and suitability for processing large amount of data.