Lielo valodas modeļu pielāgošana latviešu valodai

Abstract

Lielie valodu modeļi tiek primāri apmācīti ar angļu vai citu plaši izmantotu valodu datiem, kuru dēļ to darbība mazāku resursu valodās, kā latviešu valodā, tiek novērtēta zemāk nekā sākotnēji apmācītajās valodās. Šī darba mērķis ir noskaidrot lielo valodu modeļu apmācības veidus un veikt modeļu pielāgošanu latviešu valodai. Izmantojot latviešu valodā mašīntulkotu Alpaca instrukciju kopu, tika veikta instrukciju pielāgošana Llama 3.1 un Mistral modeļiem, pēc kuras tika veikta pielāgoto modeļu salīdzināšana ar pamata modeļu darbību. Pielāgoto modeļu rezultāti latviešu valodas bezpiemēru ģenerēšanā un teksta saprašanā bija augstāki par pamata modeļu rezultātiem, kas liecina par instrukciju pielāgošanu kā efektīvu metodi, lai uzlabotu mazāku resursu valodu saprašanu.

Large language models are primarily trained on English or other frequently used language data which give them lower results on their performance for low resource languages like Latvian when compared with the pretrained language. The aim of this master’s thesis is to research about the different large language model training methods and to fine-tune a language model for Latvian. The Llama 3.1 and Mistral models were instruction tuned on a Latvian machine translated Alpaca instruction set. When the fine-tuning was finished, both models were compared with their baseline models and evaluated on their performance. The Latvian fine-tuned models demonstrated better results on zero-shot generation and reading comprehension than their base models which shows instruction fine-tuning as an effective method for improving the comprehension of low resource languages.