Pēc loģikas līdzīgu teikumu meklēšana, izmantojot mašīnmācīšanās metodes

Abstract

Mūsdienās ļoti strauji pieaug mašīnmācīšanās popularitāte, kas rezultējas ar dažādu metožu izveidi valodas apstrādes jomā, bet lielākā daļa no šīm metodēm tiek izstrādātas priekš angļu valodas. Darbā tika izvirzīts mērķis aplūkot un salīdzināt populārākās metodes, kas ļauj salīdzināt teikumus pēc to loģikas un pārbaudīt tās uz latviešu valoda, lai gūtu priekšstatu par to, kuras no tām ir efektīvākas. Darba ietvaros tika pētītas mašīnmācīšanās dabiskās valodas apstrādes (NLP) metodes, kas ļauj iemācīt datoram saprast teikumu loģiku. Tika sagatavota apmācāmo datu kopa, kas satur teikumus latviešu valodā. Daļa no aplūkotajiem risinājumi tika izmēģināti, izmantojot sagatavoto apmācāmo datu kopu, un pēc tam novērtēti un salīdzināti savā starpā. Novērtēšana notika salīdzinot risinājumu apmācīšanas laikus, kā arī tie tika testēti ar iepriekš sagatavotu testa kopu, kas sastāv no dažādiem teikumu pāriem, kas ir vai nu pēc loģikas līdzīgi, atšķirīgi vai arī neitrāli savā starpā.

Search for similar sentences by their logic using machine learning techniques Nowadays, the popularity of machine learning is growing very rapidly, which leads to the development of various methods in the field of language processing, but most of these methods are developed for the English. The aim of the work was to examine and compare the most popular methods that make it possible to compare the sentences according to their logic and test them in the Latvian language in order to get an idea of which ones are more effective. Within the framework of the work, machine learning natural language processing (NLP) techniques were studied, which allows the computer to understand the logic of sentences. Prepared the learner's data set that contains the sentences in the Latvian language. Some of the solutions discussed were tested using a trained dataset, and then evaluated and compared with each other. The assessment was made by comparing the solution training periods and were tested with a pre-made test set consisting of different pairs of sentences, which are either logically similar, different or neutral to each other.