Dabīgo valodu tekstu kompresija

Abstract

Šajā darbā es pētu dabīgo valodu tekstos atrodamās īpašības un to iespējamo pielietojumu kompresēšanā. Mūsdienu kompresēšanas rīki tās nepilnīgi izmanto, kas rosina meklēt ceļus, kā to darīt. Apskatot vairākas dažādas iespējas, es norādu uz automātisku gramatikas mācīšanos kā visinteresantāko turpmākas izpētes tēmu. Lai parādītu, ka sintakses līmeņa gramatisko īpašību izmantošana ir pieejama un noderīga, es parādu kā viegli izmantot iekavu sintaktiskās īpašības, pārveidojot tekstu tā, ka dažādi kompresēšanas rīki pārveidotajam tekstam sniedz labākus rezultātus.

In this work, I study the properties of natural language text and their possible use in compression. Modern compression tools underuse these properties, encouraging the search for ways to use them better. Reviewing several possibilities, I find automatic grammar learning as the most interesting subfield for future research. To show that the use of grammatic properties of syntactic level is approachable and useful, I show how the syntactic properties of brackets can be easily used modifying the text to improve the results for various compression tools.