Alternatīvas neironu mašīntulkošanas arhitektūras

Abstract

Pētījuma mērķis: Izpētīt alternatīvas mašīntulkošanas arhitektūras, pielietojot jaunas pieejas, lai izveidotu angļu-latviešu tulkotāju un apvienot attēlu ar teikumu matricu vienā modelī. Nozīmīgākie rezultāti: Darba ietvaros tika uztrēnēti dažādi mašīntulkotāji. Viens balstās uz «transformer» arhitektūru. Šis modeļis uztrenēts pilnīgi no jauna. Otrs mašīntulkotājs balstās uz pretrenētiem modeliem. Darbā tika salīdzinātas dažādas pieejas un tika izvēlēts labākais pretrenēts modelis XLM-R, uz kura bāzes izveidots tulkotājs. Pirmajā tulkotājā iegūtie tulkojuma rezultāti ir pietiekami precīzi un gramatiski pareizi. Taču šis tulkotājs pielāgots politiski vai juridiski virzītam tekstam, jo uztrenēts izmantojot pārsvarā Eiroparlamenta sesijas datus. Otrajam tulkotājam pietrūka resursu apreķināšanai, lai uztrenētu modeļi ar visiem datiem. Trešais modeļis ieejā pieņem gan XLM-R matricu, gan InceptionV3 matricu. Iegūtie rezultāti nedod viennozīmīgu atbildi par to, kāds modeļis uzbūvē labāku valodas modeļi. Tomēr modeļa rezultāti apstiprināja hipotēzi, ka nav svarīgi no kura avota tiek iegūta matrica, bet būtiski tikai tas, cik precīzi matrica reprezentē savstārpējos attālumus ar citiem teikumiem. Atslēgas vārdi: BERT, XLM-R, InceptionV3, Transformer, mašīntulkošana.

Title: Alternative neural machine translation architectures Research purpose: To study alternative machine translation architectures, using new approaches to create an English-Latvian translator and combine the image with a sentence embeddings in a single model. The most significant results: Within the work, various machine translators were trained. One is based on the "transformer" architecture. This model has been trained from scratch. The second machine translator is based on pre-trained models. Different approaches were compared in the work and the most significant results were obtained using XLM-R model, on the basis of that model the translator was created. The translation results obtained by the first translator are sufficiently accurate and grammatically correct. However, the translator has been adapted to a politically or legally motivated text, as it has been trained mostly using European Parliament sessions data. The second translator lacked the computing resources to train model with all the data. The third model accepts both an XLM-R embedding and an InceptionV3 embedding at the input. The obtained results do not provide an unambiguous answer as to which model performs better in language modeling. However, the results of the model confirmed the hypothesis that it does not matter from which source the embedding is obtained, but what matters, is how accurately the embedding represents the distances between other sentences. Keywords: BERT, XLM-R, InceptionV3, Transformer, machine translation.