Likumbāzēti un mašīnmācīšanās risinājumi latviešu valodas medicīnisko tekstu normalizēšanai

Abstract

Medicīniskos tekstos tiek plaši lietoti nozarei specifiski saīsinājumi un skaitļi, kas apgrūtina valodas modelēšanu, piemēram, runas automātiskās atpazīšanas un sintēzes sistēmu izstrādei, īpaši tad, ja nozarspecifiskie valodas dati ir pieejami ierobežotā apjomā. Darbā tiek aplūkotas un salīdzinātas likumbāzētas un mašīnmācīšanās pieejas latviešu valodas medicīnisko tekstu normalizācijai, automātiski pārrakstot šādus tekstus to izrunai iespējami pietuvinātā pierakstā, t.i., izvēršot saīsinājumus, abreviatūras, apzīmējumus, skaitļus u.tml. tekstvienības pilnos vārdos un atbilstošos locījumos. Darbā ir izstrādāti prototipi abām normalizēšanas pieejām un izstrādāto teksta normalizācijas modeļu novērtēšanai ir izmantota autora sagatavota datu kopa. Galā izstrādātais mašīnmācīšanās modelis sasniedz 85,25% precizitāti.

Medical texts often contain domain specific abbreviations and numerals, which complicates language modelling, including the training of speech recognition and synthesis models This is especially apparent for domain specific texts due to limited data. In this work, I will look at and analyse rules-based and machine learning approaches for Latvian medical text normalization with the aim of expanding the text to its corresponding pronounced form, including the processing of abbreviations, acronyms, numerical expressions and other text units to their full forms and respective declensions. Within this work the author has created functioning prototypes for both approaches to text normalization and evaluated the model with a dataset specifically made for this task. The final machine learning model reaches an accuracy of 85,25 %.