Unity ML aģentu izmantošana vienkāršas ekosistēmas implementācijai

Abstract

Darba gaitā ar Unity ML tehnoloģijas palīdzību tiek izstrādāta programmatūra un demonstrēta vide, kas ļauj vienlaicīgi trenēt vairākus stimulētās mācīšanās aģentus, kur katram ir savi mērķi, dažādi vides novērojumi, uzvaras un zaudēšanas stāvokļi un kur katru kontrolē savs neironu tīkls. Tiek arī implementēta mācību stundu trenēšana, kur vide tiek sadalīta dažādās stadijās, lai optimizētu dažādu darbības aspektu iemācīšanos. Šī darba galvenie mērķi ir: •Demonstrēt, ka Unity ML tehnoloģija ir pietiekami laba, lai ar tās palīdzību iegūtos neironu tīklus varētu pielietot stimulētās mācīšanās uzdevumu risināšanai. •Izveidot spēli, kur ir vismaz divi spēlētāji ar dažādiem uzvaras stāvokļiem, un trenēt katram savu neironu tīklu, kas to kontrolē, kā arī izstrādāt vidi, kas ļauj vienlaicīgi trenēt vairākus aģentus. Darbs tiek izstrādāts ciešā saistībā ar projektu, kurā piedalās darba vadītājs – Accenture “ābolu vākšana”. Darba gaitā autors ir arī ieviesis izmaiņas Unity ML Agents python kodā, kuras sistēmas izstrādātāji darba rakstīšanas brīdī apsver iekļaut projektā. Maģistra darbs ir 69 lpp.liels, un satur 21 attēlu, 0 tabulas.

During the work, using Unity ML technology, author develops a program and demonstrates an environment that allows simultaneous training of reinforcement learning agents, where each has its own goals, different observations, win and lose states and where each is controlled by its own neural network. Curriculum learning is also implemented, where the environment is divided in different stages, in order to optimize the learning of different aspects of necessary actions. The main goals of this work are: •To demonstrate that Unity ML technology is good enough, so that the neural networks that were created using it, can be used for solving reinforcement learning tasks. •To create a game with at least two players with different win conditions and to train neural networks that control each player, and also, to create an environment that allows for simultaneous training of multiple agents. The thesis is created in close connection with a project in which the supervisor is involved – Accenture “apple gathering”. The author also introduced changes in the Unity ML Agents python code, which the developers of the system are considering to include in the project. The thesis is 69 pages long, and contains 21 images and 0 tables.