ETL un ELT procesu salīdzinājums datu noliktavas vidē

Abstract

Datu noliktavu un datu analīzes jomām kļūstot arvien aktuālākām, pieaug arī piedāvāto rīku un procesu klāsts un dažādība. To starp ir aktualizējusies arī tēma par ETL un ELT procesiem, to optimālu izstrādi un izvēli starp tiem. Bakalaura darba ietvaros darba autors veic izpēti par ETL un ELT procesu pielietojumu datu noliktavu kontekstā. Darbā tiek apskatītas datu noliktavas, to arhitektūra, ETL un ELT procesu būtība, raksturīgās iezīmes un to realizēšanai paredzētie rīki. Darbs ietver arī autora veiktu pētījumu, kurā tiek salīdzināti ETL un ELT procesi, kas realizēti ar Pentaho Datat Integration rīku, kā arī ELT process, kas veikts Google Cloud Platform BigQuey vidē. Pētījuma rezultāti liecina, ka ELT procesiem ir augstāka veiktspēja nekā ETL, un, izmantojot modernus rīkus, ELT darbojas vēl efektīvāk.

As the fields of data warehousing and data analytics become increasingly relevant, the range and diversity of available tools and processes is also growing. Among these, the topic of ETL and ELT processes, their optimal design and the choice between them, has also gained importance. As a part of this bachelor's thesis, the author conducts research on the application of ETL and ELT processes in the context of data warehouses. The thesis explores data warehouses, their architecture, the essence and characteristics of ETL and ELT processes, as well as the tools used to implement them. The work also includes a practical study conducted by the author, comparing ETL and ELT processes implemented using the Pentaho Data Integration tool, along with an ELT process executed in the Google Cloud Platform BigQuey environment. The results of the study indicate that ELT processes offer higher performance than ETL, and that ELT works even more efficiently when implemented with modern tools.