Ar mākslīgo intelektu darbināma skaņas apstrāde, kas valkājama cilvēkiem ar dzirdes traucējumiem

Abstract

Šis bakalaura darbs “Mākslīgā intelekta darbināta skaņas apstrādes valkājama ierīce cilvēkiem ar dzirdes traucējumiem” pēta, kā mākslīgais intelekts var tikt izmantots, lai radītu valkājamu skaņas apstrādes palīgierīci, lai atvieglotu ikdienu cilvēkiem ar dzirdes traucējumiem. Cilvēki ar dzirdes traucējumiem ikdienā saskarās ar vairākām grūtībām, ieskaitot nespēju uztvert brīdinājuma skaņas signālus apkārtējā vidē. Brīdinājuma skaņas signālus veido tādas skaņas kā sirēnas, automobiļu taures, durvju zvani un publiskie paziņojumi. Nespēja uztvert šos signālus pazemina šo cilvēku spēju iekļauties apkārtējā vidē. Šo problēmu ir iespējams risināt, izmantojot palīgierīces, kuras uztver skaņas signālus un brīdina par tiem, izmantojot citus saskarnes veidus, balstoties uz redzes un taustes izjūtu. Lielākā daļa šobrīd izstrādāto risinājumu strādā kā viedtelefona programmatūra, vai arī valkājama ierīce, kurai nepieciešams citas viedierīces atbalsts. Šis bakalaura darbs tiek veidots, lai risinātu vides skaņas atpazīšanas problēmu, izmantojot valkājamu ierīci, kura strādā neatkarīgi no citām ierīcēm. Ierīce paziņo lietotājam par svarīgo skaņas signālu klātesamību, izmantojot vibrācijas un gaismas signālus. Vides skaņas atpazīšana iekļauj vairākus faktorus, kuri sarežģī produktu izstrādi. Šo faktoru, piemēram, fona trokšņa un skaņu dažādību ietekmi, ir iespējams mazināt, izmantojot mašīnmācīšanos. Mašīnmācīšanās ļauj izmantot dažādas datu kopas, lai pielāgotu programmatūru konkrētā uzdevuma veikšanai. Vides skaņas atpazīšanas kontekstā mašīnmācīšanās palīdz programmatūrai labāk atšķirt vērā ņemamos skaņas signālus no fona trokšņa. Relatīvi jauns mašīnmācīšanās virziens ir TinyML – sīkā mašīnmācīšanās. Šis koncepts ietver mašīnmācīšanās algoritmu darbību resursu ierobežotās ierīcēs – mikrokontrolieros. Pielietojot mašīnmācīšanos šādā veidā, ir iespējams izveidot ierīces, kuras ir ļoti mazas un patērē ļoti maz enerģijas. Šis bakalaura darbs izmanto TinyML, lai izveidotu mašīnmācīšanās modeli, kurš darbina valkājamas ierīces prototipu. Lai analizētu izstrādātā prototipa precizitāti, tas tiek pārbaudīts, izmantojot pāŗbaudes datu kopu. Vienlaikus tiek pārbaudīts arī tuvākais risinājums, kas pieejams tirgū, – iPhone skaņas atpazīšanas funkcija. Pārbaudes rezultāti liecina, ka izstrādātais prototips darbojas ar līdzīgu precizitāti kā tuvākais risinājums, kā arī līdzīgie izstrādātie un pētītie risinājumi. No šiem rezultātiem var secināt, ka šis risinājums varētu tikt lietots, lai atpazītu svarīgos brīdinājuma skaņas signālus apkārtējā vidē un brīdinātu lietotāju par to klātesamību. Šis valkājamās ierīces prototips tika izstrādāts ar aparatūras un programmatūras ierobežojumiem. Izstrādei tika izmantots plaša pielietojuma mikrokontrolieris, kurš nav paredzēts, lai to lietotu tieši mašīnmācīšanās programmatūrai. Iespējams, labākus rezultātus būtu iespējams sasniegt, izmantojot īpašu mašīnmācīšanai paredzētu aparatūru. Programmatūras ierobežojumi galvenokārt attiecas uz modeļa izstrādi. Izstrādei izmantoto datu kopu būtu iespējams uzlabot papildinot ar lielāku skaitu audio paraugu, kā arī ar audio ierakstiem, izmantojot ierīces mikrofonu. Izstrādātā prototipa sasniegtie rezultāti liecina domāt, ka šī ierīce ir iespējams reāls pielietojums. Lai tas būtu iespējams, autors piedāvā turpināt izstrādi, izveidojot pielāgotu iespiedshēmas plati un korpusu iekārtai. Tāpat būtu nepieciešams uzlabot mašīnmācīšanās modeli un veikt padziļinātas pārbaudes apkārtējā vidē dažādos scenārijos. Šis bakalaura darbs ir rakstīts angļu valodā un sastāv no 43 lapām, iekļaujot 3 pielikumus, 3 tabulas, 4 grafikus un atsauces uz 35 informācijas avotiem. Atslēgvārdi: vides skaņu klasifikācija, TinyML, valkājama ierīce, dzirdes traucējumi, mašīnmācīšanās

Sound is one of the vital senses people use to perceive the world. Individuals with hearing impairment often face challenges related to the inability to detect and react to environmental sounds. This thesis aims to provide a solution for this problem by developing a prototype for a practical environmental sound recognition device. This bachelor thesis work “Artificial Intelligence-Powered Sound Processing Wearable for the Hearing Impaired.” explores how artificial intelligence can be used to produce a wearable sound processing assistive device to aid deaf and hard of hearing individuals. To circumvent this problem, assistive devices in the form of a smartphone application or a wearable are used. Furthermore, assistive devices use haptic feedback alongside visual cues to notify individuals with hearing difficulties about important environmental sounds. Such important sounds can include alerting sounds such as car horns, alarms, and sirens. One of the possible means to solve the problem of environmental sound recognition is machine learning. Machine learning uses datasets to train models that can more accurately classify and detect sounds in unforeseen conditions. A particular branch of machine learning – TinyML – describes how machine learning models can be used in resource-constricted devices like microcontrollers. The constraints of microcontrollers provide optimal qualities for usage in wearable assistive devices. This thesis builds on previous knowledge about environmental sound recognition and TinyML to create a prototype wearable assistive device that uses machine learning to detect important sounds in the environment and notify the user about the presence of these sounds. The prototype is developed using a custom-assembled hardware running a machine learning model trained on Edge Impulse platform. The model is trained using both ready- made and custom compiled audio datasets and deployed to a microcontroller using a C++ codebase. To assess the performance of the developed solution, testing is performed for the developed model, as well as the on-device deployed model in a real-world setting. The prototype device is tested alongside the closest market alternative – the iPhone sound recognition feature to assess the level of readiness of the prototype. The testing results are compiled and accuracy alongside with the F1 score is computed to compare the performance. The testing accuracy of the prototype is then compared to the iPhone sound recognition feature using Fisher’s exact test. Testing results show that the developed prototype works with a similar accuracy to both the closest market alternative and other similar researched solutions. These results suggest that such a device would be plausible to use in a real-world setting to alert deaf and hard-of-hearing individuals about important sounds in the environment. The prototype was developed with hardware and training limitations. The hardware used was not machine learning-specific and the training dataset was limited in size and lacked on-device recorded audio samples. The author theorizes that by improving on these limitations the solution might have both better accuracy and better run-time. The author suggests that since this device has achieved notable results, it should be further developed to produce a market-ready product. Steps to achieve that should include the development of a custom printed circuit board and casing alongside improvements to the sound recognition model. This bachelor thesis consists of 43 pages, including 3 appendices, 3 tables, 4 charts and references to 35 information sources. Keywords: environmental sound classification, TinyML, wearable, deaf, hard of hearing, machine learning