ETL procesu automatizācija datu noliktavā

Abstract

Viens no liekākajiem, sarežģītākajiem un laikietilpīgākajiem uzdevumiem datu noliktavā ir ETL procesu izveide, jo ETL tieši ietekmē datu kvalitāti. Viens no veidiem, kā samazināt laiku un resursus, kas tiek iztērēti ETL ir izmantot automatizāciju, kas varētu samazināt cilvēcisko kļūdu rašanos un uzlabot kopējo procesu. Bakalaura darbā “ETL procesu automatizācija datu noliktavā” autore sniedz ieskatu ETL procesu nozīmē, izveides galvenajos soļos un to automatizācijas ierobežojumiem un nepieciešamību datu noliktavā. Darbā ir veikts pētījums, kur autore izveidoja automatizētus ETL procesus izveidotajai datu noliktavai, nodrošinot, regulāru izpildi un datu kvalitāti. Pētījums veikts ar atvērtā pirmkoda programmatūrām, Pentaho un Jenkins.

One of the longest, most complex and time-consuming tasks in data warehouse is the creation of ETL processes, since ETL directly affects the quality of data. One way to reduce the time and resources spent on ETL is to use automation that can reduce the occurrence of human error and improve the overall process. The author of the bachelor paper “ETL process automation in data warehouse” gives an insight into the meaning of ETL processes, the establishment of the main steps and their automation constraints and the need for data warehousing. Bachelor paper also contains practical work where author created automated ETL processes for the created data warehouse, ensuring regular execution and data quality. Practical work was conducted with open source software programs, Pentaho and Jenkins.