Jaunvārdu automātiska atpazīšana

Abstract

Šajā darba tiek pētīts, plānots un beigās arī izstrādāts risinājums jaunvārdu automātiskai atpazīšanai latviešu valodā. Tiek apskatīti latviešu valodā sastopamie vārddarināšanas procesi, esošie pētījumi jaunvārdu automātiskā atpazīšanā citās valodās, kā arī veidi, kādos var izskaitļot divu vārdu sintaksisku līdzību. Darba beigās tiek izstrādāts rīks lv-neologism-detector, kas spēj identificēt jaunvārdus latviešu valodā. Tomēr tā zema precizitāte (23%), pārklājums (59%) un F-mērs (32%) liecina, ka ir nepieciešams papildus darbs vēlamas kvalitātes sasniegšanai.

In this paper, author explores, plans and eventually implements the solution for automatic neologism detection in Latvian language. Word formation processes in Latvian language have been analysed together with field review of state-of-the-art solutions in automatic neologism detection in other languages. Later, different approaches of calculating the word syntactic similarity have been reviewed. In the end of this work NLP tool lv-neologism-detector has been implemented which automatically detects neologisms in Latvian language. However, low precision (23%), recall (59%) and F-score (32%) of the tool shows that additional work is required in order to reach acceptable levels of quality.