Runas izdalīšana audio ierakstos, izmantojot dziļo mašīnapmācību

Abstract

Kvalifikācijas darbā tiek aprakstīta sistēma, tās prasības un realizācija. Šī sistēma sastāv no tīmekļa vietnes un mašīnmācīšanās modeļa, ar kura palīdzību ir iespējams izdalīt runas fragmentus augšupielādētajā audio failā. Šī sistēma satur arī datu kopas sagatavošanas moduli, ar kura palīdzību tiek apkopoti dati no FSD50K kopas, un tie tiek sagatavoti priekš jau iepriekš apmācīta DenseNet modeļa pielāgošanas un apmācības. Rezultātā tika apmācīti vairāki modeļi, no kuriem tika atlasīts labākais, kurš pēc tam tika savienots ar tīmekļa vietni, ar kuras palīdzību ir iespējams iesniegt failu runas izdalīšanas analīzei un apskatīt atgriezto rezultātu lietotājam vienkāršā veidā.

This qualification work describes a system, its requirements and realisation. This system contains a website and a machine learning model, which extracts speech fragments from the uploaded audio file. This system also contains the data preparation module, which gathers data from FSD50K dataset and prepares the data for pre-trained DenseNet models training and fine- tuning. As the result, multiple machine learning models were trained and only the best one of chosen to be a part of the website system. The website is used for uploading an audio file for speech extraction analysis and prepares and shows the retuned data in an easy to understand way.