Mākslīgie neironu tīkli skaidrojošās vārdnīcas terminu savstarpējo attiecību atpazīšanā

Abstract

Darbā tiek piedāvāts risinājums dabiskās valodas apstrādes rezultāta verificēšanai, kas balstīts uz mašīnmācīšanas pieejas. Pētījuma gaitā tika izstrādāta metode, kura ļauj apmācīt mākslīgo neironu tīklu atpazīt korektus un nekorektus teksta semantisko atkarību kokus, uz kuru pamata ir balstīts tālākais pētījums. Darbā tiek apskatīta dabisko valodu apstrādes rīku dažādība. Pētījuma ietvaros ir salīdzināti 3 rīki – Stanford CoreNLP, SpaCy, ClearNLP. Rīki ir vairāk vai mazāk vienlīdzīgi pēc savām iespējām, bet ļoti atšķiras pēc uzvedības un rezultātiem, kas tiek demonstrēts darba gaitā. Pētījuma rezultātā tiek aprakstīta un izstrādāta sistēma, kura atpazīst vārdnīcas terminu savstarpējās attiecības, kuras tiek reprezentētas grafu veidā.

The paper offers a solution based on a machine learning approach for verifying the result of natural language processing. During the research method was developed which allows to train artificial neural networks to recognize correct and incorrect text semantic dependency trees, on the basis of which the further research is based. The paper looks at the variety of natural language processing tools. Within the research 3 tools are compared - Stanford CoreNLP, SpaCy, ClearNLP. The tools are more or less equal in their capabilities, but are different in behavior and results that is shown during the work. As a result of the research a system that recognizes the relationship between glossary terms is developed. Term relationships are represented in the form of graphs.