Datu noliktavas transformācijas procesa optimizācijas iespējas izmantojot atvērtā koda rīku

Abstract

Bakalaura darba ietvarā tiek izvērtētas ETL rīka Oracle Data Integrator transformācijas procesa optimizācijas iespējas izmantojot atvērtā koda rīku. Pirmajā nodaļā tiek sniegts ievads datu noliktavas pamatjēdzienos, saistība ar darījumintelektu, datu noliktavas arhitektūras jēdziens, izvērtētas atšķirības starp datu noliktavas arhitektūras veidiem un minēti svarīgākie datu modeļu veidi. Otrajā nodaļā apskatīts ETL procesa jēdziens, īpaši uzsverot datu izguves, datu transformācijas un datu ielādes procesu lomu datu noliktavās. Raksturotas ETL un ELT pieeju atšķirības un ETL rīku veidi. Trešajā nodaļā detalizēti aprakstīta sākotnējā situācija, optimizācijas aktualitāte un nozīme, dots atvērtā koda rīka izvēles pamatojums, kā arī sniegts ļoti īss Oracle Data Integrator un Data build tool rīka funkcionālais apraksts. Ceturtajā nodaļā parādīts datu modeļa izstrādes process ar Oracle Data Integrator un Data build tool standarta uzdevumu risināšanā – jauna transformācijas procesa izstrāde un inkrementālas datu ielādes izveides scenārijs. Sniegts rezultātu apkopojums. Darba noslēgumā sniegti secinājumi un ieteikumi.

Title: “DATA WAREHOUSE TRANSFORMATION PROCESS OPTIMIZATION CAPABILITIES WITH OPEN-SOURCE TOOL.” The first chapter provides an introduction to the basic concepts of data warehousing, its relationship with business intelligence, the concept of data warehouse architecture, evaluates the differences between data warehouse architecture types, and mentions the most important types of data models. The second chapter discusses the concept of the ETL process, especially emphasizing the role of data retrieval, data transformation, and data loading processes in data warehouses. The differences between ETL and ELT approaches and types of ETL tools are characterized. The third chapter describes in detail the initial situation, the relevance and importance of optimization, gives the justification for choosing an open source tool, and also provides a very brief functional description of the Oracle Data Integrator and Data build tool tools. The fourth chapter shows the data model development process with Oracle Data Integrator and Data build tool in solving standard tasks - development of a new transformation process and a scenario for creating an incremental data load. A summary of the results is provided. The paper concludes with conclusions and recommendations.