Aktivācijas funkcijas neironu tīklos

Abstract

Aktivācijas funkcijas ir nozīmīgs neironu tīklu hiperparametrs, kas ietekmē tīkla apmācības laiku un pareizību. Darba ietvaros salīdzinām dažādas aktivācijas funkcijas un analizējam to matemātiskās īpašības. Eksperimenta ietvaros apmācām dažādus neironu tīklu modeļus un analizējam aktivācijas funkciju ietekmi uz rezultātu.Activation functions are an important hyper parameter of neural networks – they have a strong impact on training time and accuracy. Various widely used activation functions will be mathematically analyzed and compared. The practical part of this thesis involves training several neural networks with different activation functions and comparing their performance.