Dabiskās Valodas Dziļo Neironu Tīklu Ģeneratora GPT-2 Sniegums Latviešu un Angļu Valodā

Abstract

Darbs ir veltīts dabiskās valodas apstrādes tēmas un modeļa GPT-2 izpētei un tā snieguma novērtēšanai angļu valodā, kā arī pielāgota valodas modeļa realizēšanai un apmācībai tekstu ģenerēšanai arī latviešu valodā. GPT-2 ir liels dabiskās valodas apstrādes modelis, kas ir paplašināts no GPT modeļa, daudzkārt palielinot modeļa parametru skaitu un apmācot to uz vairāk treniņa datiem. GPT-2 modeļa apmācībai izmantots valodas korpuss no interneta mājaslapu tekstiem, atšķirībā no GPT modeļa, kura apmācībai izmantots valodas korpuss no grāmatu tekstiem. Šis modelis ir radīts ar mērķi paredzēt nākamo vārdu, ņemot vērā iepriekš esošos vārdus konkrētā tekstā. Apstrādājot iepriekš dotu tekstu, ar GPT-2 modeli ir iespējams ģenerēt teksta turpinājumus, pielāgojoties esošā teksta valodas stilam un tā saturam. Šis darbs satur dabiskās valodas apstrādes pieeju aprakstu, neironu tīklu darbības principu un to veidus, Transformer un GPT-2 modeļu aprakstu, oriģinālā GPT-2 modeļa snieguma novērtēšanu angļu valodā, kā arī pielāgota valodas modeļa apmācīšanu latviešu valodā un ar to iegūto tekstu paraugu novērtēšanu. Šajā darbā izvirzītie mērķi ir novērtēt modeļa sniegumu angļu valodā un apmācīt pielāgotu modeli latviešu valodai. Atslēgvārdi: neironu tīkls, dabiskās valodas apstrāde, Transformer modelis, GPT-2 modelis.

This work “Natural Language Deep Neural Network Transformer GPT-2 Performance on Latvian and English Language” is dedicated to the research of natural language processing and the research of GPT-2 model and performance evaluation in English language. GPT-2 is a large natural language processing model that has been extended from the GPT model by increasing the number of model parameters and training it on more training data. This model is designed to predict the next word, taking into account all the previous words in a specific text. With the GPT-2 model it is possible to generate continuations of the text and also adapting to the language style and content of the existing text by processing previously given text. This work contains a description of natural language processing approaches, the principle of neural networks and their types, a description of Transformer and GPT-2 models, the performance evaluation of the implemented original GPT-2 model and training of adapted language model in Latvian language and evaluation of text samples generated with it. The aims of this work are to evaluate the performance of the model in English language and to train the model in Latvian language as well. Keywords: neural network, natural language processing, Transformer, GPT-2.