Apmācīti optimizācijas algoritmi neironu tīkliem

Abstract

Neironu tīklu apmācībā bieži pielietoti apmācības algoritmi ir gradienta nolaišanas, ADAM, AdaGrad un citi, tomēr viņi visi ir balstīti uz dažādiem pieņēmumiem par mērķa funkcijas ainavu, kuri ne vienmēr izpildās praksē. Meta-mācīšana mēģina atrisināt šo problēmu, konstruējot apmācības algoritmu, kas ir specializēts specifisku uzdevumu kopai. Darba mērķi ir izpētīt meta-mācīšanās metodes, kas spēj automātiski iemācīties optimizācijas algoritmus priekš neironu tīklu apmācībai, un salīdzināt tos ar praksē populāriem "rokām darinātiem" optimizācijas algoritmiem.

Most popular neural network teaching algorithms are gradient descent, ADAM, AdaGrad and others, however they all are made on some assumptions about objective function's landscape, however they may not always hold in practive. Meta-learning tries to solve this problem by designing teaching algorithm which is specialized to a specific family of tasks. Main goals of this paper are to research meta-learning methods that can automatically learn optimization algorithms for teaching neural networks and to compare learned algorithms with most popular "handcrafted" optimization algorithms used in practice.