Jēdzientelpas un to pielietojumi

Abstract

Vārdu jēdzientelpa sastāv no vārdiem un to reprezentācijas zemas dimensionalitātes blīva vektora formā, kas ietver gan sintaktiskas, gan semantiskas līdzības starp vārdiem, kuras iespējams izteikt vektoriālā formā, piemēram, v(“Latvija”) – v(“Rīga”) = v(“Igaunija”) – v(“Tallina”). Šāda vārdu reprezentācija ir ļoti noderīga dažādos dabīgās valodas apstrādes uzdevumos, sevišķi izmantojot dziļo neironu tīklu arhitektūras. Pēdējos gados ir izstrādātas metodes, kas ļauj iemācīties jēdzientelpas no lieliem tekstu korpusiem. Autors demonstrē latviešu valodas jēdzientelpu un tās efektivitāti vārdšķiru tagošanā, nosaukumu atpazīšanā un atkarību parsēšanā.

Word vector space consists of words and their representations with a low dimensionality dense vectors that captures both syntactic and semantic word relationships that can be expressed in a vector form; e.g., v(“Latvia”) – v(“Riga”) = v(“Estonia”) – v(“Tallin”). Such representation of words is very useful in a variety of natural language processing tasks, especially by utilizing deep neural network architectures. In previous years many methods have been proposed that allows to learn word embeddings from large text corpora. Author presents Latvian word embeddings and their usefulness in part of speech tagging, named entity recognition and dependency parsing.