Pieejas mākslīgo neironu tīklu skaitļošanas efektivitātes uzlabošanai

Abstract

Šajā bakalaura darba tiek pētītas metodes neironu tīklu skaitļošanas efektivitātes uzlabošanai aparatūras, programmatūras un algoritmiskajās dimensijās. Mūsu analīze identificē efektivitātes vājās vietas konvolūcijās, blīvu slāņu aprēķinos un atmiņas pārsūtīšanā. Veicot apgriešanas metožu eksperimentālu novērtējumu, mēs salīdzinām statisko un adaptīvo dinamisko retināto apmācību dažādās konfigurācijās. Rezultāti liecina, ka adaptīvā DST konsekventi uzlabo agrīnās apmācības konverģenci (precizitātes laukuma zem līknes pieaugums par 1,2-3,7%) un īpaši labi darbojas mazākos tīklos vienkāršākos uzdevumos, kur tā sasniedz augstāku precizitāti ar mazāk parametriem un samazinātu secinājumu laiku. Lielākiem modeļiem un sarežģītām datu kopām statiskā DST saglabā konkurētspēju. Šie atklājumi liecina, ka neironu tīkli var saglabāt veiktspēju, vienlaikus ievērojami samazinot skaitļošanas prasības, padarot dziļo mācīšanos pieejamāku resursiem ierobežotām lietojumprogrammām un videi ilgtspējīgu, samazinot enerģijas patēriņu. Mūsu darbs izceļ iespējas turpmākai optimizācijai, izmantojot kombinētas metodes.

This bachelor thesis examines techniques for improving neural network computational efficiency across hardware, software, and algorithmic dimensions. Analysis of the literature analysis identifies efficiency bottlenecks in convolutions, dense layer calculations, and memory transfers. Through experimental evaluation of pruning techniques, we compare Static and Adaptive Dynamic Sparse Training across various configurations. Results show Adaptive DST consistently improves early training convergence (1.2-3.7% increase in accuracy area-under-curve) and performs particularly well with smaller networks on simpler tasks, where it achieves higher accuracy with fewer parameters and reduced inference time. For larger models and complex datasets, Static DST remains competitive. These findings demonstrate that neural networks can maintain performance while significantly reducing computational requirements, making deep learning more accessible for resource-constrained applications and environmentally sustainable through reduced energy consumption. Our work highlights opportunities for further optimization through combined techniques.