Laika diferences apmācīšanās nepārtrauktā darbību telpā

Abstract

Autores izstrādātais bakalaura darbs “Laika diferences apmācīšanās nepārtrauktā darbību telpā” iekļauj gan pētījumu par pastiprinājuma vadītās mācīšanās algoritmiem, gan darba autores izstrādātas mācīšanās. Darba izstrādes laikā autore apguva pastiprinājuma vadītās mācīšanas pamatprincipus un laika diferences mācīšanās algoritmus (Q-learning un Sarsa). Autore darba izstrādes laikā izveidoja mācīšanās algoritmus dažādiem uzdevumiem, kuri tika simulēti virtuālā fiziskā pasaulē.Autores izveidotie mācīšanās algoritmi ir veidoti, lai mācīšanos varētu veikt, nezinot neko par vidi, bet novērojot iegūtos rezultātus reālajā laikā, proti, objektu pozīciju, pārvietošanās un rotācijas ātrumu, rotācijas leņķi. Autore izveidoja piecus mācīšanās algoritmus, kuri ir objekta uzsviešana noteiktā augstumā, objektu nokrišanas sinhronizācija, kārts rotācijas un kārts balansēšanas mācīšanās.

Author of Temporal Difference Learning in Continuous Action Spaces in her Bachelor paper includes research about reinforcement learning and created reinforcement learning examples for various problems. The author studied reinforcement learning and temporal difference learning algorithms (Q-Learning and Sarsa).. A virtual world was created with physics engine to simulate real world, because learning tasks were meant to solve tasks, where learning was effected by gravity, air friction and weight of object. In order to apply learning, created algorithms uses only parameters, which are observed: position, movement and rotation speed and angle of object, therefore created algorithms doesn’t depend on knowing gravity, air friction and weight of object. The author created algorithms for five learning tasks. They are: throw object to specific height, synchronize object drop time, learn objects to fly and learn pole rotation.