Datu noliktavas un datu ezera arhitektūras implementācija sensoru datiem

Abstract

Bakalaura darba mērķis ir datu noliktavas un datu ezera arhitektūras izpēte un realizācija priekš sensoru datu noglabāšanas. Sensoru datu apjoms strauji pieaug, kā arī pieaug vajadzība šos datus noglabāt tā, lai tie būtu izmantojami arī pēc ilgākiem laika periodiem priekš ilgtermiņa analizēšanas vai citiem nodomiem. Tiek apskatīta un izvēlēta viena no vairākām šāda veida arhitektūrām. Balstoties uz arhitektūras apraksta, tiek izpētīti un aprakstīti vajadzīgie rīki, kas ir vajadzīgi priekš šādas arhitektūras realizācijas. Sekojoši arhitektūra tiek daļēji realizēta. Ir izveidots datu ezers un sagatavoti rīki, lai varētu veidot datu noliktavu. Izveidotajā datu ezerā veiksmīgi ielādēti dati no failiem un no relāciju datu bāzes, veikta neliela šo datu analīze un to rezultātu vizualizācija.

The goal of the bachelor’s thesis is to research and implement a data warehouse and data lake architecture for storing sensor data. The amount of sensor data is growing rapidly, as is the need to store this data so it can be used after extended periods of time for long-term analysis or for other purposes. One of several such architectures is considered and chosen. Based on the description of the architecture, the necessary tools that are needed to implement the architecture are researched and described. Consequently, the architecture is partially realised. A data lake is created with the necessary tools to create a data warehouse. In the created data lake, sensor data from files and from a relational database were successfully loaded, the data was analysed on a small scale and the results were visualised.