Daudzvalodīgas aktivētājvārdu atpazīšanas sistēmas izveide

Abstract

Runas ievadi atbalstošie virtuālie asistenti parasti pēc noklusējuma atrodas gaidīšanas stāvoklī un darbojas tikai pēc kāda noteikta signāla. Tādēļ ir nepieciešams kāds mehānisms, kā ērti “pamodināt” virtuālo palīgu no gaidīšanas stāvokļa, lai varētu veikt saziņu ar to. Izplatītākā metode tam ir izmantot kādu konkrētu vārdu/frāzi cilvēka runā – aktivētājvārdu, kas aktivizē virtuālo asistentu, piemēram “Ok Google”, “Hey Siri”, utml. Maģistra darba ietvaros izstrādāta daudzvalodīga sistēma, kas ļauj atpazīt noteiktus aktivētājvārdus latviešu, lietuviešu, igauņu, angļu un krievu valodās. Šāda veida risinājums, cik zināms, ir jaunums latviešu un lietuviešu valodām. Viens no mērķiem sistēmas izveidē bija nodrošināt, ka sistēma veiksmīgi darbojas ar tālas distances runu: tiek noskaidrots, ka tālas distances un mākslīgi pārveidoti oriģinālie paraugi treniņdatos var uzlabot atpazīšanu gan uz tuvas, gan tālas distances paraugu testa kopām. Padarot sistēmu izmantojamu mobilajās ierīcēs, iegūtajiem aktivētājvārdu atpazīšanas modeļiem papildus tiek pielietota zināšanu destilācija, kas ļauj samazināt modeļa izmēru gandrīz 7 reizes, praktiski nezaudējot precizitāti.

Speech input enabled virtual assistants are usually built to be in standby mode by default and operate only after a certain signal. Therefore, some kind of mechanism is needed to conveniently "wake up" the virtual assistant from standby mode, so that one can communicate with it. The most common method is to use a specific word / phrase in a person's speech – a wake word that activates the virtual assistant, such as "Ok Google", "Hey Siri", etc. Within the scope of this master's thesis, a multilingual wake-word detection system has been developed, which allows recognizing specific wake words in Latvian, Lithuanian, Estonian, English and Russian. Such a solution, as far as it is known, is a novelty for Latvian and Lithuanian languages. One of the goals in the process of creating this system was to make sure it works well with far field speech: it is found that far field speech and artificially modified original training data samples can improve the recognition on both near field and far field sample test sets. To make the system suitable for mobile devices, knowledge distillation is applied to obtained wake word recognition models, which allows reducing model size almost 7 times with virtually no loss in accuracy.