Diferencējamu simulāciju pielietošana četrkājainu robotu pārvietošanās trenēšanā

Abstract

Salīdzinot ar konvencionāliem nediferencējamiem simulatoriem, diferencējamie simulatori piedāvā labāku izlases efektivitāti (sample efficiency) un potenciāli mazāku trenēšanas soļu skaitu, bet pieprasa diferencējamību visās simulētajās mijiedarbībās, kas ir sarežģīti kontakta simulācijām. Darba mērķis ir uzzināt, cik lielā mērā ir iespējams apgūt konkrētus manevrus, ja iekļauj diferencējamus simulatorus apmācības procesā, salīdzinot ar metodēm, kas tādus neizmanto.

When compared to conventional non-differentiable simulators, differentiable simulators provide better sample efficiency and offer the potential for reduced training times for control policies. However, differentiable simulators demand differentiability throughout all simulation steps, which can be difficult for contact-rich simulations as they inherently contain numerous discontinuities. The aim of this work is to find out to what extent it is possible to learn specific manoeuvres if differentiable simulators are included in the training process and compare it to methods which don't use them.