Semantisko kopu automātiska izguve no teksta korpusa

Abstract

Vārdu nozīmju datubāzes kalpo kā nozīmīgs rīks dažādās datorlingvistikas apakšnozarēs. Vairākās pasaules valodās tās jau ir izveidotas un tiek aktīvi lietotas. Datorlingvistikā notiek aktīva pētniecība par šādu datubāzu automātisku izveidi un papildināšanu. Viena no svarīgākajām apakšproblēmām šajā nozarē ir vārdu semantisku kopu automātiska izguve no teksta korpusiem. Šī pētījuma mērķis ir pārbaudīt kā un cik precīzi strādā statistiskā vārdu automātiskas izguves metode latviešu valodā. Darba rezultātā tika savākts un morfoloģiski un sintaktiski nomarķēts vairāk nekā 130 miljonu vārdu korpuss, ar kura palīdzību šī metode tika pārbaudīta. Rezultātā tika sasniegta 38% precizitāte. Darbā arīdzan tiek doti norādījumi kā to palielināt, kā arī ir apskatīti citu valstu pētījumi šajā virzienā un sniegti ieteikumi turpmākai pētniecībai.

Word sense databases are important tools in various fields of computational linguistics. Such databases have already been created and are in use in various languages. Active research is being carried out to make possible an automatic compilation of such databases. One of the most important problems in this field is the automatic acquisition of synsets from text corpora. The aim of this paper is to test the precision of statistical synset acquisition method in Latvian language. For this reason a 130 million word text corpus was compiled and parsed morphologically and syntatically. The method was able to acquire synsets with a precision of 38%. This paper also gives an overview of related research, makes suggestions of how to further increase the precision of the method in Latvian languages and provides topics for further research.