POMDP problēmu risināšana, izmantojot vēsturiskus elementus, un tās optimizācija

Abstract

Elvja Egles Bakalaura darba „POMDP problēmu risināšana, izmantojot vēsturiskus elementus, un tās optimizācija” ietvaros tika izpētīti daļēji novērojami Markova lēmuma procesu (POMDP) algoritmi. Balstoties uz Jāņa Zutera zinātniski pētniecisko raksta saturu „Sequence Q-Learning: a Memory-based Method Towards Solving POMDP”, kurā ir aprakstīta POMDP risināšanas ideja, tika izstrādāts līdzvērtīgs mašīnmācīšanās algoritms, saskaņā ar rakstā sniegto informāciju. Bakalaura darba ietvaros tika pētīta šī Algoritma efektivitāte, kā arī apskatītas un piedāvātas vairākas iespējas tā tālākai pilnveidei. Programmētais darbs tika pievērsts konkrētai problēmai, kurai bija novērojama labāka ātrdarbība ar nelieliem uzlabojumiem algoritma kvalitātē dažās situācijās.

Elvis Egle’s Bachelor thesis "POMDP problem solving, using historic elements and its optimization" examines the topic of partially observable Markov decision process (POMDP). Based on the research article "Sequence Q-Learning: a memory-based Method towards Solving POMDP" by Janis Zuters, which describes a proposed idea on how to solve POMDP, an equivalent machine learning algorithm was developed, in line with the information contained in the article. Within the bachelor's thesis the algorithm efficiency was evaluated, improved and a number of ways of how it could be perfected were discussed. The program was aimed at a particular problem, which saw an improved operation speed with minor improvements in the quality of the algorithm in some situations.