Lietotāja definētu funkciju slodzes vienmērīga sadalīšana “Cassandra” datu bāzes klasterī

Abstract

Pēdējos gados strauji palielinās datu apjomi, kas ir jāanalizē. Darbā tiek pētīta iespēja vienmērīgi noslogot Cassandra datu bāzes klasteri, ja tanī tiek izmantotas lietotāja definētās funkcijas (LDF), kuras rada procesora slodzi. Lietotājs var uzrakstīt LDF ar dažādu izpildes laika sarežģītību. Katra no LDF var apstrādāt datus ar dažādu izmēru. Rezultātā atsevišķi klastera mezgli var tikt pārslogoti, kamēr pārējie ir brīvi. Pētījuma mērķis ir izstrādāt un veikt praktiskus eksperimentus slodzes vienmērīgas sadalīšanas algoritmam, kas noteiktu Cassandra klastera mezgla aizņemtības ilgumu, ja kopā ar LDF tiek izpildīti lasīšanas vaicājumi. No eksperimentu rezultātiem secināms, ka piedāvāto risinājumu var izmantot, bet algoritmam ir vairāki ierobežojumi, kuru novēršanai ir jāveic papildu pētījumi.

Over recent years the data volumes to be analysed have rapidly increased. The work deals with the research on the possibility to uniformly distribute the load in the Cassandra database cluster, if user-defined functions (UDF) are used therein, which generate the processor load. The user can write the UDF with different execution time complexity. Each of the UDFs can process data of different sizes. As a result separate cluster nodes may be overloaded, while the others are free. The purpose of the study is to develop and carry out practical experiments for an algorithm for uniform distribution of load, which would determine the occupancy time of the Cassandra cluster node, if the read-only queries are executed together with the UDF. According to the results of experiments, it is concluded that the proposed solution can be used, however the algorithm has several restrictions, the prevention whereof requires additional studies.