Lielo valodas modeļu kvantizācijas metožu sistemātisks salīdzinājums

Abstract

Šajā maģistra darbā tiek analizētas lielo valodas modeļu kvantizācijas metodes, īpaši pievēršot uzmanību hiperparametru nozīmīgumam un kvantizācijas rezultātu ticamības intervāliem. Lai izpētītu kvantizācijas metožu efektivitāti, tiek izvirzītas vairākas hipotēzes, tostarp par kvantizācijas metožu parametru ietekmi un semantiskās līdzības nozīmīgumu. Darba rezultāti atklāj, ka kvantizācijas parametriem ir ierobežota ietekme uz modeļu veiktspēju, izņemot dažos specifiskos gadījumos, piemēram, izmantojot dažādas datu kopas ar GPTQ. Pētījums arī parāda, ka semantiskā līdzība ir būtisks rādītājs modeļu ģeneratīvai spējai, lai gan tai ir trūkumi, piemēram, plašs rezultātu intervāls. Kvantizēto modeļu veiktspējas salīdzinājumi norāda, ka AWQ 4bitu un GPTQ 4bitu modeļi demonstrē ievērojamu uzlabojumu ātrdarbībā un atmiņas efektivitātē. Publiskā AWQ 4bitu modelis sasniedz vislabāko atmiņas izmantošanas efektivitāti, savukārt, AWQ 4bitu modelis ir labākais no semantiskās jēgas viedokļa. Nākotnes pētījumi varētu koncentrēties uz dažādu iegultņu modeļu izvēli, eksperimentu atkārtojumu skaita palielināšanu un dažādu kvantizācijas metožu implementāciju salīdzināšanu. Turklāt būtu lietderīgi izpētīt, kā dabiskās valodas uzdevumu apraksti ietekmē modeļu veiktspēju

This master’s thesis analyzes the quantization methods of large language mo dels, focusing particularly on the significance of hyperparameters and the confidentce intervals of quantization results. To explore the effectiveness of quantization methods, several hypotheses are proposed, including the impact of quantization method parameters and the importance of semantic similarity. The results of the study reveal that quantization parameters have limited impact on model performance, except in specific cases such as using different datasets with GPTQ. The study also shows that semantic similarity is a crucial indicator of the generative capability of models, despite its drawbacks, such as a wide range of results. Performance comparisons of the quantized models indicate that the AWQ 4bit and GPTQ 4-bit models demonstrate significant improvements in speed and memory efficiency. The public AWQ 4-bit model achieves the best memory usage efficiency, while the AWQ 4-bit model is the best in terms of semantic coherence. Future research could focus on selecting different embedding models, increasing the number of experiment repetitions, and comparing different implementations of quantization methods. Additionally, it would be beneficial to explore how natural language task descriptions affect model performance.